[논문 리뷰] ViA: View-invariant Skeleton Action Representation Learning via Motion Retargeting

Di Yang, Yaohui Wang외 4명|arXiv (Cornell University)|2022. 08. 31.

Human Pose and Action Recognition인용 수 4

한 줄 요약

ViA는 운동 리타겟팅을 사전 과제로 활용하여 시야 및 주체에 관계없이 불변인 스켈레톤 동작 표현을 학습하는 자기지도 학습 프레임워크를 제안한다. 잠재 운동 분리 모듈을 통해 운동 특징와 인물 특징를 분리함으로써 실생활 2D 및 실험실 기반 3D 데이터셋에서 시야 간 및 주체 간 행동 인식에 있어 최신 기술 수준의 전이 성능을 달성한다.

ABSTRACT

Current self-supervised approaches for skeleton action representation learning often focus on constrained scenarios, where videos and skeleton data are recorded in laboratory settings. When dealing with estimated skeleton data in real-world videos, such methods perform poorly due to the large variations across subjects and camera viewpoints. To address this issue, we introduce ViA, a novel View-Invariant Autoencoder for self-supervised skeleton action representation learning. ViA leverages motion retargeting between different human performers as a pretext task, in order to disentangle the latent action-specific `Motion' features on top of the visual representation of a 2D or 3D skeleton sequence. Such `Motion' features are invariant to skeleton geometry and camera view and allow ViA to facilitate both, cross-subject and cross-view action classification tasks. We conduct a study focusing on transfer-learning for skeleton-based action recognition with self-supervised pre-training on real-world data (e.g., Posetics). Our results showcase that skeleton representations learned from ViA are generic enough to improve upon state-of-the-art action classification accuracy, not only on 3D laboratory datasets such as NTU-RGB+D 60 and NTU-RGB+D 120, but also on real-world datasets where only 2D data are accurately estimated, e.g., Toyota Smarthome, UAV-Human and Penn Action.

연구 동기 및 목표

• 다양한 주체와 시야를 가진 실생활 영상에 대해 기존 자기지도 학습 스켈레톤 동작 표현 방법의 일반화 능력이 열 劣한 문제를 해결한다.
• 3D 스켈레톤 데이터가 가용하지 않거나 노이즈가 많은 상황에서 2D 추정 스켈레톤으로부터 불변 표현을 학습하여 행동 인식의 강건성을 향상시킨다.
• 실생활 데이터에서 자기지도 사전 훈련을 통해 단지 2D 실생활 및 3D 실험실 기반 데이터셋에 대해 효과적인 전이 학습을 가능하게 한다.
• 스켈레톤 시퀀스에서 운동 특징를 주체 및 시야 특징와 분리하여 불변성을 달성한다.
• 운동 리타겟팅이 일반적이고 전이 가능한 스켈레톤 표현을 학습하기 위한 효과적인 자기지도 과제임을 입증한다.

제안 방법

• 원천 및 드라이빙 스켈레톤 시퀀스 간의 운동 리타겟팅을 사전 과제로 사용하여 시야 및 주체에 관계없이 불변인 오토인코더를 훈련한다.
• 직교 분해를 통해 시각적 표현을 '운동'(행동 특이)과 '특성'(시야/신체 크기 특이) 성분으로 분리하는 잠재 운동 분리(Latent Motion Disentanglement, LMD) 모듈을 활용한다.
• 가벼운 스켈레톤 시퀀스 디코더를 사용하여 원천 및 드라이빙 시퀀스 간 '운동' 특징를 교환함으로써 시퀀스를 재구성한다.
• 시야 불변성과 행동 식별성을 강화하기 위해 대조 손실, 사이클 재구성 손실, 트리플렛 손실, 속도 손실의 조합을 최적화한다.
• 다운스트림 작업에 대해 피니튜닝하기 전에 대규모 실생활 Posetics 데이터셋에서 시각 인코더를 사전 훈련하여 일반적 표현을 학습한다.
• 평가를 위해 선형 평가 및 피니튜닝 프로토콜을 모두 적용하여 미리 보지 않은 2D 실생활 및 3D 실험실 기반 데이터셋에서의 전이 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 운동 리타겟팅은 실생활 2D 데이터에서 시야 및 주체에 관계없이 불변인 스켈레톤 표현을 학습하기 위한 효과적인 자기지도 과제로 기능할 수 있는가?
• RQ2 분리된 '운동' 특징가 다양한 주체와 카메라 시야에서 행동 인식에 얼마나 일반화되는가?
• RQ3 실생활 데이터(예: Posetics)에서 자기지도 사전 훈련을 수행할 경우, 합성 데이터에서의 사전 훈련보다 전이 성능이 얼마나 향상되는가?
• RQ4 각 손실 성분(자기 재구성, 사이클, 트리플렛, 속도)이 최종 표현 품질과 다운스트림 정확도에 기여하는 정도는 어떠한가?
• RQ5 학습된 표현이 재학습 없이도 2D 실생활 데이터셋과 3D 실험실 기반 데이터셋 모두에 일반화 가능한가?

주요 결과

• ViA는 실생활(Toyota Smarthome, UAV-Human, Penn Action) 및 실험실 기반(NTU-RGB+D 60/120) 데이터셋에서 모두 시야 간 및 주체 간 행동 인식에 최신 기술 수준의 성능을 달성하며, 이는 이전 자기지도 방법들을 능가한다.
• 피니튜닝을 적용한 Toyota Smarthome 데이터셋에서 ViA는 65.4%의 상위-1 정확도를 기록하여 기준 모델(61.7%) 및 이전 방법보다 뚜렷한 향상을 보였다.
• 제거 실험 결과, 기준 모델에 사이클 손실(+1.1%)과 트리플렛 손실(+2.1%)을 추가하면 성능 향상이 가장 크게 나타나, 이들이 시야 불변성을 강화하는 데 기여함을 입증했다.
• 속도 손실 추가로 인해 소량이지만 일관된 성능 향상(0.4% 정확도 향상)을 기록하여 운동 표현의 시간적 일관성이 향상되었음을 시사한다.
• 정성적 결과는 효과적인 분리가 이루어졌음을 확인한다: '운동' 특징는 입력 시야에 관계없이 표준화되고 시야에 관계없는 운동을 표현하며, '특성' 특징는 신체 크기와 시야를 제어한다.
• Mixamo에서의 t-SNE 시각화 결과, '운동' 특징는 주체나 시야에 관계없이 행동 유형별로 군집되어 있으며, 학습된 표현의 분리 및 불변성의 타당성을 검증한다.