[논문 리뷰] Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition

Shihao Xu, Haocong Rao외 2명|arXiv (Cornell University)|2020. 11. 14.

Human Pose and Action Recognition참고 문헌 45인용 수 10

한 줄 요약

이 논문은 액션 프로토타입을 통한 고수준 의미론적 유사성과 역순서 예측을 통한 저수준 운동 패턴을 동시에 학습하는 새로운 비지도 프레임워크인 프로토타입 대비 및 역예측(Prototypical Contrast and Reverse Prediction, PCRP)을 제안한다. 학습 과정을 기대값-최대화(EM) 알고리즘으로 공식화함으로써, N-UCLA, NTU60, NTU120에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 여러 지도 학습 방법을 능가한다.

ABSTRACT

In this paper, we focus on unsupervised representation learning for skeleton-based action recognition. Existing approaches usually learn action representations by sequential prediction but they suffer from the inability to fully learn semantic information. To address this limitation, we propose a novel framework named Prototypical Contrast and Reverse Prediction (PCRP), which not only creates reverse sequential prediction to learn low-level information (e.g., body posture at every frame) and high-level pattern (e.g., motion order), but also devises action prototypes to implicitly encode semantic similarity shared among sequences. In general, we regard action prototypes as latent variables and formulate PCRP as an expectation-maximization task. Specifically, PCRP iteratively runs (1) E-step as determining the distribution of prototypes by clustering action encoding from the encoder, and (2) M-step as optimizing the encoder by minimizing the proposed ProtoMAE loss, which helps simultaneously pull the action encoding closer to its assigned prototype and perform reverse prediction task. Extensive experiments on N-UCLA, NTU 60, and NTU 120 dataset present that PCRP outperforms state-of-the-art unsupervised methods and even achieves superior performance over some of supervised methods. Codes are available at https://github.com/Mikexu007/PCRP.

연구 동기 및 목표

• 기존 비지도 방법들이 액션 시퀀스 간의 고수준 의미론적 유사성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 감독 없이 저수준 운동 패턴과 고수준 의미론적 구조를 함께 모델링하여 표현 학습을 향상시키기 위해.
• 학습 가능한 액션 프로토타입을 통해 의미론적 유사성을 암묵적으로 인코딩하는 프레임워크를 개발하기 위해.
• 기존 비지도 방법을 뛰어넘고, 표준 골격 기반 행동 인식 벤치마크에서 일부 지도 학습 베이스라인을 초월하기 위해.

제안 방법

• 프레임워크는 표현 학습을 기대값-최대화(EM) 과정으로 공식화하며, E단계에서는 인코더 출력에 대해 k-means 클러스터링을 수행하여 액션 인코딩을 프로토타입에 할당한다.
• M단계에서는 새로운 손실인 ProtoMAE를 최소화하여 인코더를 최적화한다. 이 손실은 대비 학습과 마스킹 오토에인코딩을 조합한다.
• ProtoMAE는 액션 인코딩을 할당된 프로토타입에 가깝게 끌어당기는 同시에, 운동 순서를 포착하기 위해 역순서 예측을 강제한다.
• 액션 프로토타입은 은닉 변수로 간주되며, 각 프로토타입 주변의 정규분포를 가정하여 관측된 데이터의 가능도를 최대화하도록 인코더를 반복적으로 업데이트한다.
• 이 방법은 Uni-GRU 인코더와 별도의 디코더를 사용하여 역순서 예측을 수행하며, 학습 중에는 백프로파게이션을 인코더에만 적용한다.
• 프레임워크는 반복적인 EM 방식으로 엔드 투 엔드로 훈련되며, 클러스터링과 손실 최소화가 반복적으로 반복된다.

실험 결과

연구 질문

• RQ1 프로토타입 대비가 액션 시퀀스 간의 의미론적 유사성을 모델링함으로써 비지도 골격 기반 행동 인식을 향상시킬 수 있는가?
• RQ2 라벨이 없이도 역순서 예측이 저수준 운동 패턴과 시간적 순서 학습에 기여하는가?
• RQ3 프로토타입 할당과 시퀀스 복원의 동시 최적화가 개별적으로 예측하거나 대비 학습만 수행하는 것보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 클러스터 수와 다중 클러스터링 런 수가 최종 표현 품질에 미치는 영향은 어떠한가?
• RQ5 비지도 방법이 표준 벤치마크에서 지도 학습 방법과 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?

주요 결과

• N-UCLA 데이터셋에서 PCRP는 선형 평가 정확도 86.3%를 기록하여 베이스라인보다 3.7%p 높고, HBRNN보다 6.5%p 높았다.
• NTU60에서 C-View 설정에서는 PCRP가 63.5%의 정확도를 달성하여, 베이스라인보다 9.6%p 높고, 일부 설정에서는 Deep RNN을 능가했다.
• NTU120에서 C-Set 설정에서는 PCRP가 53.9%의 정확도를 기록하여, 동일 평가 프로토콜 하에서 Part-Aware LSTM보다 18.8%p 높고 Soft RNN보다 3.1%p 높았다.
• 절단 실험 결과, 프로토타입 대비와 역예측 모두가 유의미하게 기여하며, 이 둘의 조합이 가장 높은 성능을 낸다.
• 최적의 클러스터 수와 M값(클러스터링 런 수)는 데이터셋에 따라 다르며, N-UCLA에서는 M=1과 70개의 클러스터가 최고 성능을 냈다.
• 모델는 안정적으로 수렴하며 사전 훈련 전반에 걸쳐 높은 정확도를 유지하여 강력하고 일관된 표현 학습을 보였다.