[논문 리뷰] Latent Optimization for Non-adversarial Representation Disentanglement

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|2019. 06. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 스타일 전이 기반 아키텍처를 활용한 잠재 공간 최적화를 통해 자세와 콘텐츠 표현을 분리하는 비대칭적 분리 방법을 제안한다. 이중 단계 학습 전략을 도입함으로써, 적대적 학습 없이도 동일한 감독 수준에서 최신 기준(SOTA) 성능을 달성하며, 적대적 및 비적대적 기준 모델을 모두 능가한다.

ABSTRACT

Disentanglement between pose and content is a key task for artificial intelligence and has attracted much research interest. Current methods for disentanglement include adversarial training and introducing cycle constraints. In this work, we present a novel disentanglement method which does not use adversarial training, achieving state-of-the-art performance. Our method uses latent optimization of an architecture borrowed from style-transfer, to enforce separation of pose and content. We overcome the test generalization issues of latent optimization, by a novel two-stage approach. In extensive experiments, our method is shown to achieve better disentanglement performance than both adversarial and non-adversarial methods that use the same level of supervision.

연구 동기 및 목표

• 딥 생성 모델에서 자세와 콘텐츠 표현을 분리하는 문제를 해결하기 위해.
• 일般적으로 잠재 최적화 방법에서 관찰되는 낮은 테스트 시간 일반화 성능를 극복하기 위해.
• 적대적 학습을 피하면서도 그 성능을 맞추거나 능가하는 분리 프레임워크를 개발하기 위해.
• 이전 방법들과 동일한 감독 수준에서 향상된 분리 성능를 달성하기 위해.

제안 방법

• 스스로의 스타일 전이 기반 아키텍처를 도입하여 분리 표현 학습을 가능하게 한다.
• 잠재 공간의 명시적 정규화를 통해 자세-콘텐츠 분리를 위한 잠재 공간을 최적화한다.
• 추론 시 일반화 성능을 향상시키기 위해 이중 단계 학습 절차를 도입한다.
• 콘텐츠 유지 목적의 재구성 손실을 사용하면서도, 자세 분리 목적의 잠재 코드 최적화를 수행한다.
• 잠재 공간 내 최적화 기반 정규화에만 의존함으로써 적대적 학습을 회피한다.
• 정체성과 자세를 분리하기 위해 공유된 인코더-디코더 구조와 함께 분리된 잠재 코드 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 적대적 손실 없이도 비적대적 방법이 최신 기준 성능을 달성할 수 있는가?
• RQ2 테스트 시간에서 일반화가 어려운 상황에서 잠재 최적화는 자세와 콘텐츠 분리에 얼마나 효과적인가?
• RQ3 이중 단계 학습 전략은 잠재 최적화의 테스트 시간 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 동일한 감독 수준에서 적대적 및 비적대적 기준 모델을 모두 능가하는가?

주요 결과

• 제안된 방법은 적대적 학습 없이도 최신 기준 분리 성능를 달성한다.
• 이중 단계 학습 전략은 표준 잠재 최적화 대비 테스트 시간 일반화 성능를 크게 향상시킨다.
• 동일한 감독 수준에서 평가했을 때, 적대적 및 비적대적 기준 모델을 모두 능가한다.
• 특히 자세-정체성 분리에서 이전의 비적대적 방법보다 뛰어난 분리 품질을 보이며 일관되게 우수하다.
• 높은 분리 성능를 달성하면서도 강력한 재구성 품질을 유지함으로써, 충실도와 분리 간의 효과적인 트레이드오프를 보여준다.
• 제거 실험을 통해 이중 단계 학습이 일반화에 필수적임을 확인하였으며, 설계 선택의 타당성을 검증한다.