[논문 리뷰] Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement

Qiang Nie, Ziwei Liu외 1명|arXiv (Cornell University)|2020. 07. 14.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 시각-자세 분리 기반으로 작동하는 새로운 순차적 양방향 순환 네트워크(SeBiReNet)를 갖춘 시아미즈 노이즈 제거 autoencoder를 사용하여 자세에 의존하는 특징과 시각에 의존하는 특징을 분리하는 비지도 3D 인간 자세 표현 방법을 제안한다. 이 방법은 내재된 자세 운동학 및 기하학적 특성을 유지하며, 자세 노이즈 제거 및 비지도 동작 인식에서 최신 기준 성능을 달성하고, 수동으로 설정된 특징이나 감독 신호 없이도 시각 불변 표현 학습이 가능하다.

ABSTRACT

Learning a good 3D human pose representation is important for human pose related tasks, e.g. human 3D pose estimation and action recognition. Within all these problems, preserving the intrinsic pose information and adapting to view variations are two critical issues. In this work, we propose a novel Siamese denoising autoencoder to learn a 3D pose representation by disentangling the pose-dependent and view-dependent feature from the human skeleton data, in a fully unsupervised manner. These two disentangled features are utilized together as the representation of the 3D pose. To consider both the kinematic and geometric dependencies, a sequential bidirectional recursive network (SeBiReNet) is further proposed to model the human skeleton data. Extensive experiments demonstrate that the learned representation 1) preserves the intrinsic information of human pose, 2) shows good transferability across datasets and tasks. Notably, our approach achieves state-of-the-art performance on two inherently different tasks: pose denoising and unsupervised action recognition. Code and models are available at: \url{https://github.com/NIEQiang001/unsupervised-human-pose.git}

연구 동기 및 목표

• 시각 변화가 있더라도 내재된 자세 정보를 유지하는 3D 인간 자세 표현을 학습하는 것.
• 수동으로 설정된 불변성 정보를 사용하지 않고도 완전히 비지도 방식으로 자세에 의존하는 특징과 시각에 의존하는 특징을 분리하는 것.
• 학습 가능한 순차적 아키텍처를 사용하여 인간 뼈대의 운동학적 및 기하학적 종속성을 모델링하는 것.
• 학습된 표현의 이식 가능성을 자세 노이즈 제거 및 비지도 동작 인식과 같은 다양한 데이터셋 및 작업 간에 향상시키는 것.
• 잠재 공간 내에서의 시각 이동을 가능하게 하여 더 나은 분리 및 강건성 확보를 위한 정규화를 제공하는 것.

제안 방법

• 인간 뼈대의 신체 관절 간 운동학적 종속성을 모델링하기 위해 순차적 양방향 순환 네트워크(SeBiReNet)를 제안하여 전진 및 역방향 운동 전파를 모두 캡처한다.
• 노이즈가 첨가된 뼈대 시퀀스로부터 비지도 방식으로 분리된 표현을 학습하기 위해 공유 가중치를 갖는 시아미즈 노이즈 제거 autoencoder(DAE)를 설계한다.
• 잠재 코드를 두 가지 별개의 특징으로 분해한다: 자세에 의존하는(시각 불변) 특징과 시각에 의존하는(시각 변동) 특징으로, 이들을 함께 사용하여 표현을 구성한다.
• 시각에 의존하는 특징에 단위 직교 행렬 제약 조건을 적용하여 분리의 정확도를 향상시키고 일반화 성능을 향상시킨다.
• 임의로 회전된 자세 및 시각 이동된 자세에 대해 특징 손실과 재구성 손실을 도입하여 시각 불변 자세 특징 학습을 정규화한다.
• 3D 자세 추정을 위한 이중 스트림 프레임워크를 사용하며, 3D 스트림은 사전 훈련되고 2D 스트림은 3D 표현을 따라가도록 정규화된다.

실험 결과

연구 질문

• RQ1 완전히 비지도 방법이 3D 인간 자세 데이터에서 자세에 의존하는 특징과 시각에 의존하는 특징을 효과적으로 분리할 수 있는가?
• RQ2 사전에 수동으로 설정된 시각 불변 특징을 추출하는 것보다, 특징을 분리하는 방식이 더 많은 내재된 자세 정보를 유지하는가?
• RQ3 분리된 표현이 자세 노이즈 제거 및 비지도 동작 인식과 같은 다양한 데이터셋 및 작업 간에 일반화 가능한가?
• RQ4 SeBiReNet가 표준 RNN 또는 CNN과 비교해 신체 관절 간 운동학적 종속성을 얼마나 효과적으로 모델링하는가?
• RQ5 학습된 표현이 잠재 공간 내에서의 시각 이동을 지원함으로써 강건성 및 일반화 성능을 향상시키는가?

주요 결과

• N-UCLA 데이터셋에서 크로스 뷰 동작 인식 성능이 80.30%를 기록하여 기준 모델(51.53%) 및 분석 버전보다 뚜렷이 뛰어나다.
• NTU RGB+D 데이터셋에서 79.71%의 정확도를 달성하여 다양한 데이터셋 간 이식성의 우수함을 입증한다.
• 분석 결과 각 구성 요소—특히 특징 손실과 시각 이동된 자세의 재구성—이 성능 향상에 점진적으로 기여하며, 전체 아키텍처가 가장 높은 정확도를 기록한다.
• 기존의 비지도 및 약한 지도 학습 기반 기준 모델보다도 비지도 동작 인식 및 자세 노이즈 제거에서 최신 기준 성능을 달성한다.
• H3.6M 데이터셋에서 2D 자세로부터 3D 자세 추정을 수행할 때 53.1 mm MPJPE를 기록하여 단순한 확장 프레임워크임에도 불구하고 여러 강력한 기준 모델을 능가한다.
• 모델은 단지 0.27백만 개의 파라미터만을 사용하여 다른 최신 기술 대비 높은 효율성을 입증한다.