[논문 리뷰] Capturing Label Characteristics in VAEs

Tom Joy, Sebastian M. Schmon외 3명|arXiv (Cornell University)|2020. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 6

한 줄 요약

이 논문은 표본의 레이블 특성(예: 털 색깔, 미소, 피부 톤 등)을 잠재공간에 명시적으로 모델링하는 새로운 변분 오토인코더인 특성 캡처링 VAE(CCVAE)를 소개한다. 이는 레이블 값을 잠재변수에 직접 매핑하는 기존 VAE의 한계를 보완하며, 레이블 값과 그에 연관된 시각적 특성 간의 분리(디커플링)를 통해 더 효과적이고 분리된 조작(예: 부드러운 탐색, 다양한 조건부 생성, 특성 전이)을 가능하게 한다. 이와 동시에 분류 작업에서 뛰어난 성능을 유지한다.

ABSTRACT

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

연구 동기 및 목표

• 기존 VAE가 레이블 값을 잠재변수에 직접 매핑함으로써 레이블과 연관된 풍부하고 분리된 시각적 특성을 포착하지 못하는 한계를 해결하고자 한다.
• 레이블 자체가 아니라 레이블과 연결된 지각적 특성(예: 털 색깔, 미소, 피부 톤 등)을 고립하고 모델링하는 방법을 개발하고자 한다.
• 잠재공간에서 세밀하고 의미 있는 조작(예: 레이블 값을 변경하지 않고 특성을 조작하거나, 이미지 간 특성을 전이하는 것)을 가능하게 하고자 한다.
• 특성 분리에 초점을 맞추더라도 표준 지도 학습 과제(예: 분류)에서 뛰어난 성능을 유지하면서 표현 품질을 향상시키고자 한다.
• 특성 기반의 분리가 더 해석 가능하고 제어 가능한 데이터 샘플 생성 및 편집을 가능하게 한다는 것을 입증하고자 한다.

제안 방법

• 레이블 값과 별도로 전용 잠재변수(특성 잠재변수)를 사용해 레이블 특성을 명시적으로 모델링하는 새로운 VAE 아키텍처인 CCVAE를 도입한다.
• 특성 잠재변수에 대한 구조적 사전분포를 활용해, 레이블 특성을 다른 콘텐츠 요소와 분리하도록 유도하는 새로운 변분 목표를 사용한다.
• 입력 데이터와 레이블을 특성 잠재변수로 매핑하는 조건부 추론 네트워크를 활용하여, 모델이 지각적으로 의미 있는 특징을 추출하도록 한다.
• 기타 잠재변수를 고정한 채로 특성 잠재변수만 조작함으로써, 부드러운 탐색과 특성 전이를 가능하게 한다.
• 이미지 간 특성 잠재변수를 교환하여 특성 스왑을 수행함으로써, 레이블 일관성 있는 특징을 유지하면서 배경이나 맥락을 변경한다.
• 사전 학습된 분류기를 사용해 스왑 시 특성 유지 정도를 정량적으로 평가하며, 원본 이미지와 스왑된 이미지 간의 로그확률 이탈을 최소화한다.

실험 결과

연구 질문

• RQ1 레이블 값을 잠재변수에 직접 매핑하지 않고도 VAE 내에서 레이블 특성의 분리된, 지각적으로 의미 있는 표현을 학습할 수 있는가?
• RQ2 레이블 값과 그 시각적 특성을 분리함으로써, 잠재공간 내 조작의 품질과 제어 가능성은 향상되는가?
• RQ3 CCVAE는 레이블 일관성 있는 특징을 유지하면서도 이미지 간 특성 전이를 수행할 수 있는가? 이와 같은 과제에서 기존 방법들을 능가하는가?
• RQ4 특성 분리에 초점을 맞추더라도 CCVAE는 표준 분류 및 생성 과제에서 뛰어난 성능을 유지하는가?
• RQ5 CCVAE는 단일 모드로 붕괴하지 않고, 주어진 레이블 조작에 일관된 다양한 고해상도 샘플을 생성할 수 있는가?

주요 결과

• CCVAE는 모든 베이스라인 대비 특성 스왑에서 유의미하게 뛰어난 특성 유지 성능를 보이며, CelebA에서 평균 로그확률 차이가 1.177(f=0.004)로, M2의 2.118보다 유의미하게 낮다.
• Chexpert 데이터셋에서 CCVAE는 로그확률 이탈이 1.084(f=1.0)로 M2(1.415)와 MVAE(1.601)보다 낮아, 더 뛰어난 특성 충실도를 보였다.
• CCVAE는 레이블 값 변경 없이도 레이블 특성 내에서 부드러운 탐색(예: 털 색깔, 미소 강도 변화)을 가능하게 하며, 이는 직접 레이블-잠재변수 매핑에서는 불가능한 일이다.
• 모델은 다양한 조건부 생성을 지원한다: 동일한 레이블 조작에 대해 여러 개의 서로 다른 샘플을 생성할 수 있으며, 이는 기존 베이스라인이 종종 단일 모드로 붕괴하는 것과 대비된다.
• 특성 스왑은 피부 톤, 털 색깔, 메이크업 등의 정밀한 시각적 특징을 한 이미지에서 다른 이미지로 전이하며, 배경과 맥락은 유지된다. 이는 정성적 및 정량적 분석을 통해 확인되었다.
• CCVAE는 표준 분류 및 생성 과제에서 이전 방법들과 동일하거나 이를 초월하는 성능를 보이며, 특성 분리가 예측 성능에 악영향을 주지 않음을 입증했다.