[논문 리뷰] Contrast-reconstruction Representation Learning for Self-supervised Skeleton-based Action Recognition

Peng Wang, Jun Wen외 3명|arXiv (Cornell University)|2021. 11. 22.

Human Pose and Action Recognition참고 문헌 72인용 수 58

한 줄 요약

이 논문은 자기지도 학습 프레임워크인 대비-재구성 표현 학습(CRRL)을 제안하며, 좌표 시퀀스의 재구성과 속도 시퀀스에 대한 대비 학습을 결합하여 뼈대 기반 행동 인식에서 체성 자세와 운동 역학을 동시에 학습한다. 대비 학습자에서 재구성 오토에코더로 운동 지식을 전달하기 위해 지식 정복을 활용함으로써, 레이블이 없는 데이터만을 사용하여도 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Skeleton-based action recognition is widely used in varied areas, e.g., surveillance and human-machine interaction. Existing models are mainly learned in a supervised manner, thus heavily depending on large-scale labeled data which could be infeasible when labels are prohibitively expensive. In this paper, we propose a novel Contrast-Reconstruction Representation Learning network (CRRL) that simultaneously captures postures and motion dynamics for unsupervised skeleton-based action recognition. It mainly consists of three parts: Sequence Reconstructor, Contrastive Motion Learner, and Information Fuser. The Sequence Reconstructor learns representation from skeleton coordinate sequence via reconstruction, thus the learned representation tends to focus on trivial postural coordinates and be hesitant in motion learning. To enhance the learning of motions, the Contrastive Motion Learner performs contrastive learning between the representations learned from coordinate sequence and additional velocity sequence, respectively. Finally, in the Information Fuser, we explore varied strategies to combine the Sequence Reconstructor and Contrastive Motion Learner, and propose to capture postures and motions simultaneously via a knowledge-distillation based fusion strategy that transfers the motion learning from the Contrastive Motion Learner to the Sequence Reconstructor. Experimental results on several benchmarks, i.e., NTU RGB+D 60, NTU RGB+D 120, CMU mocap, and NW-UCLA, demonstrate the promise of the proposed CRRL method by far outperforming state-of-the-art approaches.

연구 동기 및 목표

• 기존 자기지도 학습 뼈대 기반 행동 인식 방법이 정적인 자세에 과도하게 집중하고 운동 역학을 충분히 반영하지 못하는 한계를 해결하기 위해.
• 운동 신호, 예를 들어 속도 시퀀스와 같은 명시적인 운동 신호를 학습 과정에 통합하여 비지도 표현 학습을 향상시키기 위해.
• 대비 운동 학습자에서 재구성 오토에코더로의 지식 정복을 통해 하나의 표현에서 자세와 운동을 동시에 모델링할 수 있도록 하기 위해.
• 재구성 학습과 대비 학습을 조합한 것이 자기지도 뼈대 기반 행동 인식에 효과적인지 검증하기 위해.

제안 방법

• 시퀀스 재구성기(SER)는 인코더-디코더 아키텍처를 사용하여 원시 뼈대 좌표 시퀀스를 재구성함으로써 공간적 자세 표현을 학습한다.
• 대비 운동 학습자(CML)는 좌표 시퀀스와 속도 시퀀스의 표현 간 대비 학습을 수행하여 운동 역학 학습을 강화한다.
• 정보 융합기(INF)는 지식 정복을 적용하며, CML의 쿼리 인코더가 교사 역할을 하여 SER 인코더를 안내함으로써 운동 인식 특징을 전달한다.
• 대비 학습의 안정성과 상호 정보 증진을 위해, 모멘텀 업데이트된 키 인코더와 업데이트되지 않은 키 MLP를 사용한다.
• 재구성 손실과 대비 손실의 조합을 통해 엔드 투 엔드로 모델을 훈련하며, 온도 스케일링과 메모리 백을 활용해 양성 및 음성 샘플을 관리한다.
• 최종 표현은 이제 정복 과정을 통해 자세와 운동을 모두 반영하는 학생 인코더에서 유도된다.

실험 결과

연구 질문

• RQ1 자기지도 뼈대 기반 행동 인식에 속도 시퀀스를 통합할 경우, 좌표 재구성에만 의존하는 것보다 운동 역학 학습이 향상되는가?
• RQ2 대비 운동 학습자에서 재구성 오토에코더로의 지식 정복이 운동 지식을 효과적으로 전달하면서도 자세 표현을 유지하는가?
• RQ3 온도 및 음성 샘플 수와 같은 하이퍼파라미터가 CRRL의 대비 학습 모듈 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 CRRL 프레임워크가 표준 뼈대 기반 행동 인식 벤치마크에서 기존 자기지도 학습 방법보다 우수한가?

주요 결과

• NTU RGB+D 60 데이터셋에서 교차 주제 프로토콜 하에 CRRL은 73.8%의 정확도를 기록하며 최신 기술 수준(SOTA)을 초월한다.
• NTU RGB+D 120 데이터셋에서는 67.6%의 정확도를 기록하여 더 큰 행동 집합에 대한 강력한 일반화 능력을 보여준다.
• 절단 실험 결과, 정방향과 역방향 재구성을 모두 사용할 경우 단방향 재구성보다 성능이 2.5% 향상됨을 확인하였다.
• 대비 모듈에서 업데이트되지 않은 키 MLP를 사용할 경우, 모멘텀 업데이트된 키 MLP보다 성능이 1.5% 향상됨을 확인하였다.
• 최적의 온도 하이퍼파라미터 τ는 0.1로 확인되었으며, 이는 유사도 분포의 부드러움과 대비 학습의 효과성 사이의 균형을 맞추는 데 적합하다.
• VGSR 기반 모델은 속도와 뼈대 재구성을 동시에 학습하지만, CRRL에 비해 여전히 성능이 열등하여 제안된 정복 기반 융합 전략의 우수성을 입증한다.