[논문 리뷰] Classify, predict, detect, anticipate and synthesize: Hierarchical recurrent latent variable models for human activity modeling.

Judith Bütepage, Hedvig Kjellström외 1명|arXiv (Cornell University)|2018. 09. 24.

Human Pose and Action Recognition참고 문헌 25인용 수 5

한 줄 요약

이 논문은 연속 관측치와 구조화된 의미적 레이블을 통합함으로써 인간 행동의 의미론적 특성(분류, 예측, 탐지, 예측)과 운동 궤적(예측, 합성)을 함께 모델링하는 준감독형 계층적 순환 잠재변수 모델을 제안한다. 이 모델은 상호 간의 종속성과 계층적 행동 구조를 포착하여 Cornell Activity 120, UTKinect-Action3D, Stony Brook Kinect Interaction Dataset를 포함한 여러 데이터셋에서 작업별 최적화 모델을 능가한다.

ABSTRACT

Human activity modeling operates on two levels: high-level action modeling, such as classification, prediction, detection and anticipation, and low-level motion trajectory prediction and synthesis. In this work, we propose a semi-supervised generative latent variable model that addresses both of these levels by modeling continuous observations as well as semantic labels. We extend the model to capture the dependencies between different entities, such as a human and objects, and to represent hierarchical label structure, such as high-level actions and sub-activities. In the experiments we investigate our model's capability to classify, predict, detect and anticipate semantic action and affordance labels and to predict and generate human motion. We train our models on data extracted from depth image streams from the Cornell Activity 120, the UTKinect-Action3D and the Stony Brook University Kinect Interaction Dataset. We observe that our model performs well in all of the tasks and often outperforms task-specific models.

연구 동기 및 목표

• 인간 행동 이해에서 고수준 의미론적 행동 모델링과 저수준 운동 궤적 예측이라는 이중적 과제를 해결한다.
• 연속적인 깊이 관측치와 계층적 행동 구조 및 가능성 레이블을 포함한 구조화된 의미적 레이블을 통합한다.
• 인간과 물체 간의 종속성을 모델링하여 행동과 운동 이해를 향상시킨다.
• 작업별 특화된 적응 없이도 분류, 예측, 탐지, 예측, 운동 합성 등 여러 작업을 지원하는 통합된 생성 프레임워크를 개발한다.
• 깊이 영상 스트림에서 레이블이 부여된 데이터와 부여되지 않은 데이터를 모두 활용할 수 있도록 준감독 학습을 가능하게 한다.

제안 방법

• 운동 궤적과 의미론적 행동 레이블의 잠재 표현을 함께 모델링하는 계층적 순환 잠재변수 모델을 사용한다.
• 연속 관측치(예: 깊이 스트림에서 유도된 3D 인간 자세)와 이산적 의미 레이블(예: 행동, 하위 활동)을 모델링하기 위해 변분 추론 프레임워크를 활용한다.
• 시간적 종속성과 계층적 레이블 구조를 모델링하기 위해 주의 메커니즘 또는 순환 구조를 통합한다.
• 물체 상태와 상호작용 신호를 조건으로 삼아 인간과 물체 간의 상호 엔티티 관계를 모델링한다.
• 레이블이 부분적으로 부여된 깊이 시퀀스에서 유도된 약한 레이블 데이터를 사용하여 준감독 방식으로 모델을 훈련한다. 이때 레이블이 부여된 행동과 레이블이 없는 운동 시퀀스를 모두 활용한다.
• 의미 레이블에 조건이 되는 최종 엔드 투 엔드의 운동 시퀀스 생성을 가능하게 하여 합성 및 예측 작업을 지원한다.

실험 결과

연구 질문

• RQ1 통합된 생성 프레임워크 내에서 하나의 프레임워크로 분류, 예측, 탐지, 예측, 운동 합성 등의 인간 행동 모델링 작업을 효과적으로 수행할 수 있는가?
• RQ2 평탄한 레이블 모델링에 비해 계층적 행동 구조(예: 고수준 행동과 그 하위 활동)를 얼마나 잘 포착하는가?
• RQ3 인간과 물체 간의 종속성을 모델링할 경우 의미론적 및 운동 작업 전반에서 성능 향상이 얼마나 이루어지는가?
• RQ4 완전 감독 기반 모델에 비해 제한된 레이블 데이터에서 준감독 학습 전략이 성능 향상에 기여하는가?
• RQ5 Cornell Activity 120, UTKinect-Action3D, Stony Brook Kinect Interaction Dataset와 같은 다양한 데이터셋에서 작업별 최적화 모델과 비교해 모델의 성능는 어떻게 되는가?

주요 결과

• 제안된 모델은 분류, 예측, 탐지, 예측, 운동 합성 등 평가된 모든 작업에서 뛰어난 성능을 기록하여 통합된 생성 프레임워크의 효과성을 입증한다.
• 여러 벤치마크에서 작업별 최적화 모델을 능가함으로써 일반화 및 표현 학습 측면에서의 우수성을 보여준다.
• 계층적 레이블 구조를 통합함으로써 복잡한 행동, 특히 하위 활동 인식과 예측에 있어 모델링 성능 향상이 이루어진다.
• 인간-물체 상호작용을 모델링함으로써 복잡한 상호작용 시나리오에서 행동 예측 및 탐지 작업의 성능 향상이 뚜렷하게 향상된다.
• 준감독 학습 전략은 레이블이 없는 데이터를 효과적으로 활용하여, 완전한 감독이 필요한 환경이 아닌 자원이 제한된 설정에서도 성능 향상을 이룬다.
• 의미 레이블에 조건이 되는 실질적인 운동 시퀀스를 성공적으로 생성함으로써 모델의 운동 합성 능력이 검증되었다.