[논문 리뷰] Unsupervised Motion Representation Learning with Capsule Autoencoders

Ziwei Xu, Xudong Shen외 2명|arXiv (Cornell University)|2021. 10. 01.

Human Pose and Action Recognition참고 문헌 59인용 수 10

한 줄 요약

이 논문은 운동 캡슐 인코더(Motion Capsule Autoencoder, MCAE)를 제안하며, 스퍼트 및 세그먼트 캡슐의 이중 수준 계층을 통해 변환 불변 운동 표현을 학습하는 비지도 기반 캡슐 기반 프레임워크이다. 국소적 운동 스퍼트를 모델링하고, 자세 불변 템플릿을 사용해 이를 고차원의 의미적 세그먼트로 집계함으로써, MCAE는 더 적은 파라미터로도 비지도 골격 기반 행동 인식에서 최고 성능을 달성한다. 이는 새로운 합성 데이터셋(Trajectory20)과 실제 데이터 기반 벤치마크에서 검증되었다.

ABSTRACT

We propose the Motion Capsule Autoencoder (MCAE), which addresses a key challenge in the unsupervised learning of motion representations: transformation invariance. MCAE models motion in a two-level hierarchy. In the lower level, a spatio-temporal motion signal is divided into short, local, and semantic-agnostic snippets. In the higher level, the snippets are aggregated to form full-length semantic-aware segments. For both levels, we represent motion with a set of learned transformation invariant templates and the corresponding geometric transformations by using capsule autoencoders of a novel design. This leads to a robust and efficient encoding of viewpoint changes. MCAE is evaluated on a novel Trajectory20 motion dataset and various real-world skeleton-based human action datasets. Notably, it achieves better results than baselines on Trajectory20 with considerably fewer parameters and state-of-the-art performance on the unsupervised skeleton-based action recognition task.

연구 동기 및 목표

• 시야각 및 주체별 변형에 취약한 비지도 환경에서 변환 불변 운동 표현을 학습하는 데 도전하는 것.
• 국소적인 단기 운동과 전반적인 장기적 의미적 패턴을 모두 포괄하는 계층적 운동 표현 프레임워크를 개발하는 것.
• 학습된 스퍼트 템플릿을 통해 세그먼트 템플릿을 파arameter화하여 모델 복잡도를 감소시키면서도 분류 능력을 유지하는 것.
• 합성 및 실제 골격 기반 행동 데이터셋에서 프레임워크를 평가하여 강인성과 일반화 능력을 입증하는 것.

제안 방법

• MCAE는 스퍼트 캡슐(SniCap)과 세그먼트 캡슐(SegCap)으로 구성된 이중 수준 캡슐 계층을 사용한다. SniCap는 국소적이고 짧은 지속 시간의 운동 신호를 담당하고, SegCap는 더 긴, 의미적으로 유의미한 운동 세그먼트를 담당한다.
• 각 캡슐은 학습된 템플릿(스퍼트 캡슐의 경우 운동 시퀀스, 세그먼트 캡슐의 경우 SniCap 템플릿의 조합)을 유지하며, 입력 운동을 재구성하기 위해 기하학적 변환 파라미터를 학습한다.
• 의미적 콘텐츠(캡슐 활성도 ν에 의해 표현됨)와 기하학적 변환(변환 파라미터 B에 의해 표현됨)을 분리함으로써 변환 불변성을 달성한다.
• 주의 기반 라우팅과 정규화된 훈련을 사용한 새로운 캡슐 오토인코더 설계를 통해 자세 불변 특징 학습의 안정성을 높인다.
• 세그먼트 캡슐은 스퍼트 캡슐에서 계층적으로 구성되며, 파라미터 수를 감소시키면서도 계층적 추상화를 유지한다.
• 내부 클래스 변형이 통제된 조건에서 운동 표현의 강인성을 평가하기 위해 새로운 합성 데이터셋 Trajectory20을 도입한다.

실험 결과

연구 질문

• RQ1 캡슐 기반 오토인코더는 비지도 환경에서 시야각 및 주체별 변형에 대해 변환 불변 운동 표현을 학습할 수 있는가?
• RQ2 스퍼트-세그먼트 캡슐 계층의 이중 수준 구조는 국소 운동 역학과 전반적인 의미적 운동 패턴을 얼마나 효과적으로 포착하는가?
• RQ3 의미적 콘텐츠(ν)와 기하학적 변환(B) 간의 분리가 운동 변환에 대한 강인성 향상에 얼마나 기여하는가?
• RQ4 실제 골격 기반 행동 인식에서 기존 비지도 방법과 비교해 MCAE는 정확도, 파라미터 효율성, 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 다양한 운동 패턴에 일반화되며, 통제된 내부 클래스 변형 조건에서도 강인한가?

주요 결과

• MCAE는 비지도 골격 기반 행동 인식 벤치마크에서 최고 성능을 기록하며 기존 베이스라인을 압도한다.
• 새로운 Trajectory20 데이터셋에서 MCAE는 경쟁 방법보다 훨씬 적은 파라미터로도 뛰어난 성능을 달성한다.
• 제거 실험 결과, 의미적 콘텐츠(ν)와 변환 파라미터(B)의 분리가 안정적이고 변환 강인한 표현을 이끌어낸다는 것이 확인되었다.
• 이동 및 회전의 통제된 내부 클래스 변형이 존재하는 다양한 운동 패턴에 대해서도 프레임워크는 일관된 성능을 보였다.
• MCAE가 학습한 세그먼트 템플릿은 입력 이동에 따라 공간 위치가 단조롭게 이동하는 경향을 보이며, 이는 의미적 콘텐츠가 기하학적 변환에 대해 불변임을 확인한다.
• 큰 시야각 및 운동 노이즈 조건에서도 높은 재구성 정확도와 안정적인 활성도 패턴을 유지한다.