[논문 리뷰] Learning Disentangled Representations with Reference-Based Variational Autoencoders

Adrià Ruiz, Oriol Martínez외 2명|arXiv (Cornell University)|2019. 01. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 19

한 줄 요약

이 논문은 참조 이미지 세트에서 목표 요소가 일정한 조건에서 약한 감독을 받는 방식으로, 명시적인 레이블 없이도 분리된 표현을 학습할 수 있는 기반 기반 변분 오토인코더(Rb-VAEs)를 제안한다. 대칭 KL 발산과 적대적 학습을 사용하여 VAE 목표를 재구성함으로써, 표준 VAE가 실패하는 경우에도 목표 요소(예: 얼굴 표정, 숫자 스타일)를 공통 요소로부터 효과적으로 분리할 수 있으며, 이는 표준 VAE보다 조건부 생성 및 속성 전이에서 뛰어난 성능을 발휘한다.

ABSTRACT

Learning disentangled representations from visual data, where different high-level generative factors are independently encoded, is of importance for many computer vision tasks. Solving this problem, however, typically requires to explicitly label all the factors of interest in training images. To alleviate the annotation cost, we introduce a learning setting which we refer to as "reference-based disentangling". Given a pool of unlabeled images, the goal is to learn a representation where a set of target factors are disentangled from others. The only supervision comes from an auxiliary "reference set" containing images where the factors of interest are constant. In order to address this problem, we propose reference-based variational autoencoders, a novel deep generative model designed to exploit the weak-supervision provided by the reference set. By addressing tasks such as feature learning, conditional image generation or attribute transfer, we validate the ability of the proposed model to learn disentangled representations from this minimal form of supervision.

연구 동기 및 목표

• 시각적 데이터에서 고수준 생성 요소를 분리하기 위한 높은 레이블링 비용 문제를 해결하기 위해 약한 감독 학습 설정을 도입한다.
• 기존 VAE의 퇴화 문제를 극복할 수 있는 새로운 학습 목표를 제안한다.
• 목표 요소가 고정된 참조 이미지만을 사용하여 목표 요소를 공통 요소로부터 분리된 표현을 학습할 수 있도록 한다.
• 특징 학습, 조건부 이미지 생성, 속성 전이와 같은 후행 작업에서 방법의 성능을 검증한다.

제안 방법

• 목표 요소가 일정한 참조 세트만 사용하는 약한 감독 설정인 기반 기반 분리 기법을 도입한다. 이 경우 목표 요소에 대한 명시적 레이블은 필요하지 않다.
• 기반 기반 변분 오토인코더(Rb-VAEs)를 제안한다. 이는 잠재 공간을 목표 요소(e)와 공통 요소(z)로 나누는 딥 생성 모델이다.
• 표준 VAE 목표가 이 설정에서 실패하는 문제를 해결하기 위해 대칭 KL 발산 목표를 사용한다.
• 생성기의 품질을 향상시키기 위해 적대적 학습을 활용한다.
• 재구성 손실과 적대적 손실을 조합하여 훈련함으로써 현실적인 이미지 생성을 보장한다.
• z를 고정하고 e 잠재 코드를 조작함으로써 조건부 이미지 합성 및 속성 전이에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 목표 요소가 일정한 참조 세트만을 사용하고, 그 요소에 대한 명시적 레이블이 없을 때에도 최소한의 감독으로 분리된 표현을 학습할 수 있는가?
• RQ2 기반 기반 분리 설정에서 표준 VAE 목표가 실패하는 이유는 무엇이며, 이를 극복할 수 있는 대안적 학습 목표는 무엇인가?
• RQ3 대칭 KL 발산과 적대적 학습이 이 약한 감독 설정에서 분리성과 생성 품질을 함께 향상시킬 수 있는가?
• RQ4 학습된 표현이 표준 VAE에 비해 조건부 이미지 생성 및 속성 전이와 같은 후행 작업에서 얼마나 잘 작동하는가?
• RQ5 제안된 방법이 약한 감독 하에서 기존 최고 성능 기법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 표준 VAE 목표는 기반 기반 설정에서 열악한 해를 유도하며, 이는 분리성 저하와 후행 작업에서의 열악한 성능을 초래한다.
• 학습 목표에 대칭 KL 발산을 사용함으로써 분리성이 크게 향상되었으며, 이는 속성 예측 작업에서의 성능 향상으로 확인되었다.
• 대칭 KL을 적용한 sRb-VAE 모델은 표준 VAE를 사용한 Rb-VAE보다 더 우수한 분리성을 달성했으며, AffectNet에서 평균 속성 예측 정확도는 .335, MNIST에서는 .189를 기록했다.
• sRb-VAE를 사용한 조건부 이미지 생성은 Rb-VAE보다 더 다양하고 현실적인 표정 변화 및 스타일 변형을 생성했으며, 특히 척도 및 동적 얼굴 특징을 모델링하는 데서 두드러진 성능을 보였다.
• 속성 전이 실험 결과, sRb-VAE는 숫자 스타일이나 얼굴 표정과 같은 목표 요소를 성공적으로 전이했지만, Rb-VAE는 척도 관련 속성을 전이하지 못했다.
• 정성적 결과는 sRb-VAE가 목표 요소(e)를 공통 요소(z)로부터 더 효과적으로 분리함을 확인했으며, 이는 고수준 속성 조작에 더 효과적임을 시사한다.