[논문 리뷰] Towards Disentangled Representations for Human Retargeting by Multi-view Learning

Chao Yang, Xiaofeng Liu외 2명|arXiv (Cornell University)|2019. 12. 12.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 이미지, 키포인트, 자세를 상보적인 시야로 활용하여 인간 리타겟팅을 위한 분리된, 신원에 영향을 받지 않는 표현을 학습하는 다중 시야 조건부 변동 자동차오더(CVAE)를 제안한다. 이러한 시야들 간의 잠재적 일致성을 강제함으로써, 모델은 신원 특화된 특성은 제거하면서도 표현과 자세의 의미를 유지하며, 얼굴 및 신체 리타겟팅 작업에서 의미 보존과 재구성 품질 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We study the problem of learning disentangled representations for data across multiple domains and its applications in human retargeting. Our goal is to map an input image to an identity-invariant latent representation that captures intrinsic factors such as expressions and poses. To this end, we present a novel multi-view learning approach that leverages various data sources such as images, keypoints, and poses. Our model consists of multiple id-conditioned VAEs for different views of the data. During training, we encourage the latent embeddings to be consistent across these views. Our observation is that auxiliary data like keypoints and poses contain critical, id-agnostic semantic information, and it is easier to train a disentangling CVAE on these simpler views to separate such semantics from other id-specific attributes. We show that training multi-view CVAEs and encourage latent-consistency guides the image encoding to preserve the semantics of expressions and poses, leading to improved disentangled representations and better human retargeting results.

연구 동기 및 목표

• 이미지, 키포인트, 자세와 같은 비일치된 다중 소스 데이터로부터 분리된, 신원에 영향을 받지 않는 표현을 학습하기 위해.
• 신원 교체 동안 표정과 자세와 같은 내재적 특성을 유지함으로써 인간 리타겟팅을 향상시키기 위해.
• 기존 방법이 이미지 번역 과정에서 의미적 내용을 상실하는 데에 한계가 있음을 해결하기 위해, 특히 적대적 정규화 하에서.
• 보조 시야(예: 키포인트)가 도메인에 관계없이 일관된 의미를 더 효과적으로 캡처함으로써 분리 과정을 단순화할 수 있음을 입증하기 위해.
• 공유된 잠재 공간을 사용하여 한 사용자에서 다른 사용자로 얼굴 및 눈동자의 움직임을 전달함으로써 실시간 3D 아바타 드라이빙을 가능하게 하기 위해.

제안 방법

• 이미지, 2D 키포인트, 3D 자세와 같은 각 다른 시야에 대해 신원 조건부 VAE를 별도로 학습하여 도메인에 관계없이 일관된 의미를 인코딩한다.
• 대조 손실을 사용하여 각 시야의 인코딩 표현 간의 거리를 최소화함으로써 시야 간의 잠재적 일치를 강제한다.
• 신원 레이블을 포함한 조건부 VAE를 사용하여 신원 특화된 특성과 표정 및 자세와 같은 공유된 의미적 요소를 분리한다.
• 예를 들어 검출된 키포인트와 같은 보조 데이터를 더 단순하면서도 의미가 풍부한 시야로 활용하여 분리 과정을 안내하고 모호성을 줄인다.
• 분리된 잠재 공간과 회귀 헤드를 통합하여 인코딩된 특징을 3D 아바타 파라미터로 매핑함으로써 실시간 VR 응용 프로그램을 지원한다.
• 이미지 재구성 및 도메인 전이 품질을 향상시키기 위해 사이클 일致성 손실 및 신원 분류 손실을 적용한다.

실험 결과

연구 질문

• RQ1 키포인트 및 자세와 같은 보조 데이터를 활용한 다중 시야 학습이 이미지 기반 표현에서 신원에 영향을 받지 않는 의미를 더 잘 분리할 수 있는가?
• RQ2 여러 시야 간의 잠재적 일치를 강제하면 신원 이동 중 표정과 자세의 보존이 더 잘 이루어지는가?
• RQ3 제안된 다중 시야 CVAE는 CycleGAN 및 UFDN과 같은 기준 모델에 비해 의미 보존성과 재구성 품질 측면에서 어떻게 비교되는가?
• RQ4 비일치된 데이터로부터 학습된 분리된 표현은 실시간 VR 응용 프로그램에서 3D 아바타를 효과적으로 구동하는 데 사용될 수 있는가?
• RQ5 잠재 공간에서의 적대적 정규화가 얼굴 표정과 같은 도메인 내 의미적 내용의 보존을 얼마나 악화시키는가?

주요 결과

• 제안된 방법은 지표 표정 레이블과 비교해 가장 낮은 ℓ₂ 오차(0.76)를 기록했으며, CycleGAN(0.82), UFDN(2.21), 이미지 기반 CVAE 기준(1.15)을 모두 능가했다.
• t-SNE 시각화 결과, 모델의 잠재 표현은 표정에 따라 군집되어 있으며 신원에 영향을 받지 않음을 확인했고, CVAE 기준은 명확한 표정 분리를 하지 못했다.
• 모델은 재구성 오차 (AE) 0.51과 분류 오차 0.36을 기록하여 높은 이미지 품질과 정확한 신원 전이를 나타냈다.
• 공유된 신원에 영향을 받지 않는 잠재 공간을 사용하여 한 사용자에서 다른 사용자로 얼굴 및 눈동자 움직임을 전달함으로써 실시간 3D 아바타 드라이빙을 성공적으로 구현했다.
• 다중 시야 감독 덕분에 의미 보존이 크게 향상되었으며, 이는 낮은 ℓ₂ 오차와 더 명확한 표정 군집화(t-SNE)로 입증되었다.
• 잠재 공간에서의 적대적 정규화는 의미 보존성을 떨어뜨리는 경향이 있었으며, 특히 표정에 대해 더욱 두드러졌다. 이는 다중 시야 일치 손실의 유용성을 강조한다.