[논문 리뷰] Disentangling Latent Hands for Image Synthesis and Pose Estimation

Linlin Yang, Angela Yao|arXiv (Cornell University)|2018. 12. 03.

Human Pose and Action Recognition참고 문헌 40인용 수 13

한 줄 요약

이 논문은 RGB 수동 영상 합성 및 3D 자세 추정을 위한 공유 잠재 공간에서 손 자세, 시점, 배경 콘텐츠와 같은 독립적이고 해석 가능한 변동 요인을 학습하는 분리된 변동 자동차오디터(dVAE)를 제안한다. 이 모델은 이러한 요인들에 대한 명시적 제어를 가능하게 하여, 3D 손 자세 추정에서 최신 기술 수준의 정확도를 달성하면서도, 약한 또는 반감독 학습을 통해 현실적인 제어 가능한 손 영상을 생성한다.

ABSTRACT

Hand image synthesis and pose estimation from RGB images are both highly challenging tasks due to the large discrepancy between factors of variation ranging from image background content to camera viewpoint. To better analyze these factors of variation, we propose the use of disentangled representations and a disentangled variational autoencoder (dVAE) that allows for specific sampling and inference of these factors. The derived objective from the variational lower bound as well as the proposed training strategy are highly flexible, allowing us to handle cross-modal encoders and decoders as well as semi-supervised learning scenarios. Experiments show that our dVAE can synthesize highly realistic images of the hand specifiable by both pose and image background content and also estimate 3D hand poses from RGB images with accuracy competitive with state-of-the-art on two public benchmarks.

연구 동기 및 목표

• 자세, 시점, 배경 등 다양한 요인으로 인해 RGB 손 영상의 변동성이 높아지는 문제를 해결하기 위해, 이는 정확한 합성 및 자세 추정을 어렵게 한다.
• 손 영상 생성에서 개별 변동 요인에 대한 명시적 제어가 가능한 분리된 표현 학습 프레임워크를 개발하기 위해.
• 제한된 3D 애너테이션을 사용한 약하거나 반감독 학습을 통해 단일 RGB 영상에서 정확한 3D 손 자세 추정을 가능하게 하기 위해.
• 분리된 해석 가능한 잠재 변수를 가진 단일 생성 모델 내에서 영상 합성, 자세 전이, 3D 자세 추정을 통합하기 위해.
• 다양한 학습 제도를 지원하는 융합된 변동 추론 프레임워크에서 다중모달 인코더 및 디코더의 활용을 탐색하기 위해.

제안 방법

• 이 방법은 자세, 시점, 배경 콘텐츠, 영상 콘텐츠와 같은 별개의 요인에 대응하는 독립적인 부분 공간을 가진 잠재 공간으로 분해하는 분리된 변동 자동차오디터(dVAE)를 사용한다.
• 다중 잠재 공간을 하나의 분리된 표현으로 융합하는 학습 전략을 사용하는 변동 하한 경계 목표를 적용하여, 동시 추론 및 샘플링을 가능하게 한다.
• 다중모달 인코더 및 디코더를 지원하여 RGB 영상, 3D 자세, 시점 레이블에서의 동시 학습이 가능하다.
• 두 가지 학습 변종을 도입: 독립 레이블용과 혼란 레이블용으로, 감독 설정에서의 유연성을 제공한다.
• 분리된 잠재 공간은 조건부 샘플링을 가능하게 하여, 사용자가 자세와 배경 콘텐츠를 별도로 지정해 현실적인 손 영상을 생성할 수 있다.
• 이 프레임워크는 비감독 및 반감독 학습을 지원하여, 레이블이 없는 데이터와 부분 레이블(예: 시점만)을 활용해 3D 자세 추정 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 분리된 VAE 모델은 RGB 손 영상에서 자세, 시점, 배경 콘텐츠와 같은 독립적이고 해석 가능한 변동 요인을 학습할 수 있는가?
• RQ2 dVAE는 자세 및 배경 콘텐츠를 포함한 다수의 변동 요인에 대해 명시적 제어가 가능한 고해상도의 현실적인 손 영상을 생성할 수 있는가?
• RQ3 분리된 표현은 실제 RGB 기준 데이터셋에서 최신 기술 수준의 방법과 비교해 3D 손 자세 추정 정확도를 향상시키는가?
• RQ4 모델은 레이블이 없는 또는 약한 레이블이 있는 데이터를 얼마나 효과적으로 활용해 반감독 3D 자세 추정을 수행할 수 있는가?
• RQ5 훈련 중에 명시적 배경 레이블이 없더라도 모델은 요인들을 분리하여 학습할 수 있는가?

주요 결과

• dVAE는 [25]와 같은 최신 기술 수준의 방법과 유사한 평균 종단점 오차(EPE)를 달성하며, RHD 및 STB 데이터셋에서 약간 높은 3D PCK 점수를 기록한다.
• RHD 데이터셋에서 전체 레이블(CPose, 3DPose, 시점)을 사용할 경우 평균 EPE가 최대 3.5% 향상되었고, 반감독 설정에서 시점 레이블만 사용할 경우 최대 7.5% 향상되었다.
• 명시적 배경 레이블 없이도 훈련된 모델은 자세와 배경 콘텐츠에 대해 명시적 제어가 가능한 현실적인 손 영상을 성공적으로 합성하였다.
• dVAE는 반감독 학습에서 뛰어난 일반화 성능을 보였으며, 레이블이 완전히 지정된 데이터의 5%만으로도 성능 향상이 두드러졌다.
• 더 단순한 아키텍처를 사용하고 깊이 감독 없이도 [40]보다 CPose 및 3DPose 추정에서 더 뛰어난 성능을 보였다.
• 결과는 분리된 표현이 생성과 추론 모두를 향상시키며, 이미지 합성에서의 제어 가능성과 함께 정확한 자세 추정을 가능하게 한다는 것을 시사한다.