[논문 리뷰] Crossing Nets: Combining GANs and VAEs with a Shared Latent Space for Hand Pose Estimation

Chengde Wan, Thomas Probst외 2명|arXiv (Cornell University)|2017. 02. 11.

Human Pose and Action Recognition참고 문헌 49인용 수 26

한 줄 요약

이 논문은 3D 손 자세를 위한 VAE와 깊이 영상에 대한 GAN을 공유 잠재 공간 내에서 결합하여, 레이블이 없는 데이터를 사용한 엔드 투 엔드 훈련이 가능한 반감독 학습 손 자세 추정 방법을 제안한다. 포즈 회귀, 깊이 맵의 현실성, 잠재 공간의 매끄러움을 동시에 최적화하는 디스criminator를 통해 모델은 CPU에서 90 FPS의 실시간 추론을 구현하며, 세 가지 벤치마크에서 최신 기술 수준의 정확도를 달성한다. 특히 데이터가 적거나 시야각이 어려운 조건에서 이전 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

State-of-the-art methods for 3D hand pose estimation from depth images require large amounts of annotated training data. We propose to model the statistical relationships of 3D hand poses and corresponding depth images using two deep generative models with a shared latent space. By design, our architecture allows for learning from unlabeled image data in a semi-supervised manner. Assuming a one-to-one mapping between a pose and a depth map, any given point in the shared latent space can be projected into both a hand pose and a corresponding depth map. Regressing the hand pose can then be done by learning a discriminator to estimate the posterior of the latent pose given some depth maps. To improve generalization and to better exploit unlabeled depth maps, we jointly train a generator and a discriminator. At each iteration, the generator is updated with the back-propagated gradient from the discriminator to synthesize realistic depth maps of the articulated hand, while the discriminator benefits from an augmented training set of synthesized and unlabeled samples. The proposed discriminator network architecture is highly efficient and runs at 90 FPS on the CPU with accuracies comparable or better than state-of-art on 3 publicly available benchmarks.

연구 동기 및 목표

• 깊이 영상 기반 손 추적에서 레이블이 부여된 3D 손 자세 데이터의 부족 문제를 해결하기 위해.
• 비용이 많이 들는 레이블링에 의존도를 줄이고 일반화 능력을 향상시키기 위해, 레이블이 없는 깊이 영상에서 반감독 학습을 가능하게 하기 위해.
• 공유 잠재 공간을 통해 3D 손 자세와 깊이 맵의 결합 분포를 모델링하여 손 자세 추정 성능을 향상시키기 위해.
• 실시간 추론을 가능하게 하면서도 높은 정확도를 유지할 수 있는 매우 효율적인 디스criminator를 개발하기 위해.
• GAN 기반 데이터 증강과 잠재 공간 정규화를 통한 다중 작업 학습이, 특히 레이블이 제한된 경우 손 자세 추정 성능을 향상시키는지 검증하기 위해.

제안 방법

• VAE(3D 손 자세 파라미터용)와 GAN(깊이 영상용) 간에 공유 잠재 공간을 학습하여, 동일한 잠재 벡터에서 자세와 깊이 맵을 상호 변환 가능하게 한다.
• 디스criminator는 다중 작업 설정에서 훈련된다: (1) 진짜와 생성된 깊이 맵을 구분하는 것, (2) 잠재 공간 내 깊이 맵 간 유사도를 측정하는 것, (3) 깊이 영상에서 3D 손 자세를 회귀하는 것.
• 잠재 공간 내에서의 매끄러운 보간을 보장하기 위해 새로운 거리 제약(Lsmo)을 적용하여, 임의의 보행 중에도 현실적인 자세와 외관 전이가 이루어지도록 한다.
• 생성자는 잡음에서 현실적인 깊이 맵을 생성하기 위해 적대적 손실(Lgan)로 훈련되며, 디스criminator는 진짜 및 합성 샘플 모두에서 이점을 얻는다.
• 디스criminator의 사후 추정 작업이 레이블이 있는 데이터와 없는 데이터 모두에서 이점을 얻을 수 있도록, 전체 네트워크는 backpropagation을 통해 엔드 투 엔드로 훈련된다.
• 디스criminator는 계산 효율성이 뛰어나 90 FPS의 실시간 추론을 CPU에서 달성할 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 VAE와 GAN 간의 공유 잠재 공간이 깊이 영상에서 3D 손 자세 추정 성능을 향상시키는가?
• RQ2 GAN 기반 데이터 합성과 레이블이 없는 데이터를 반감독적으로 활용하여 연속적인 실수값 자세 회귀를 어떻게 향상시킬 수 있는가?
• RQ3 적대적 손실, 잠재 공간의 매끄러움, 자세 회귀를 포함한 다중 작업 학습이 직접적인 사후 추정보다 일반화 능력과 정확도를 향상시키는가?
• RQ4 매우 효율적인 디스criminator는 CPU에서 실시간으로 작동하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 낮은 데이터 규모와 큰 시야각 변화 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 공개 벤치마크 세 곳(NYU, MSRA, ICVL)에서 최신 기술 수준의 성능을 달성하였으며, 특히 오차 기준치가 30mm 이상일 경우 이전 방법들보다 뛰어난 성능을 보였다.
• NYU 데이터셋에서, 이 방법은 Sinha 등 [34]과 Oberweger 등 [23]을 크게 앞서며, 특히 시야각 변화에 대한 내성력이 뛰어나다.
• ICVL에서 이 방법은 Oberweger 등이 제안한 고도로 정교한 보정 기반 방법보다 오차 기준치 ≥30mm에서 2% 높은 성능을 기록하였다.
• 모델은 CPU에서 90 FPS로 실행되어 실시간 추론 능력을 입증하였으며, 매우 효율적인 디스criminator 아키텍처를 사용하였다.
• 제거 실험 결과, 매끄러움 손실(Lsmo)과 GAN 손실(Lgan) 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 레이블이 있는 데이터가 오직 2%일 경우에도, 전체 학습에서부터 시작하는 것보다 성능이 뛰어나, 레이블이 없는 데이터와 합성 데이터를 활용한 반감독 학습의 효과를 입증하였다.