[논문 리뷰] Disentangling Factors of Variation by Mixing Them

Qiyang Hu, Attila Szabó외 3명|arXiv (Cornell University)|2017. 11. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 12

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 이미지의 변동 인자(예: 자세, 색상, 얼굴 특징 등)를 별개의 해석 가능한 특징 블록으로 분리하는 비지도 딥러닝 방법을 제안한다. 자동에코더에 두 가지 새로운 학습 목표를 도입하여 구현한다: 각 블록이 다른 속성의 변화에 대해 안정성을 확보하기 위한 불변성 목표와, 한 번에 하나의 블록만 사용하는 비정상적인 해법을 방지하기 위한 분류 제약 조건이다. 이 방법은 레이블이 전혀 필요 없이 MNIST, Sprites, CelebA에서 최신 기준(SOTA) 수준의 분리 성능을 달성한다.

ABSTRACT

We propose an approach to learn image representations that consist of disentangled factors of variation without exploiting any manual labeling or data domain knowledge. A factor of variation corresponds to an image attribute that can be discerned consistently across a set of images, such as the pose or color of objects. Our disentangled representation consists of a concatenation of feature chunks, each chunk representing a factor of variation. It supports applications such as transferring attributes from one image to another, by simply mixing and unmixing feature chunks, and classification or retrieval based on one or several attributes, by considering a user-specified subset of feature chunks. We learn our representation without any labeling or knowledge of the data domain, using an autoencoder architecture with two novel training objectives: first, we propose an invariance objective to encourage that encoding of each attribute, and decoding of each chunk, are invariant to changes in other attributes and chunks, respectively; second, we include a classification objective, which ensures that each chunk corresponds to a consistently discernible attribute in the represented image, hence avoiding degenerate feature mappings where some chunks are completely ignored. We demonstrate the effectiveness of our approach on the MNIST, Sprites, and CelebA datasets.

연구 동기 및 목표

• 수동 애너테이션이나 도메인 전문 지식에 의존하지 않고 분리 가능한 이미지 표현을 학습하는 것.
• 단일 특징 블록만을 사용하는 경향(단순화 문제)을 해결하기 위해 분리 표현 학습에서 발생하는 문제를 해결하는 것.
• 각각의 의미 있는 변동 인자를 별개의 특징 블록으로 분리함으로써, 예를 들어 속성 이동이나 검색과 같은 해석 가능한 이미지 조작을 가능하게 하는 것.
• 적대적 훈련과 특징 혼합을 활용하여 분리 성능을 향상시키는 완전히 비지도 훈련 프레임워크를 개발하는 것.

제안 방법

• 두 단계로 구성된 자동에코더 아키텍처를 사용하여, 두 이미지의 특징을 혼합한 후 재구성함으로써, 다양한 속성 간에 인코딩 및 디코딩의 불변성을 강제한다.
• 각 특징 블록이 다른 속성이나 블록의 변화에 영향을 받지 않고 안정성을 유지하도록 보장하기 위해 불변성 목표를 도입한다. 이는 분리 성능 향상에 기여한다.
• 각 특징 블록에 분류 제약 조건을 적용하여, 블록이 일관되게 식별 가능한 속성에 대응하도록 하여, 블록가 무시되는 비정상적인 매핑을 방지한다.
• 디코더는 적대적 손실(DCGAN 또는 BEGAN 사용)로 훈련되어 혼합된 특징 블록에서 현실적인 이미지를 생성함으로써 시각적 품질과 일반화 능력을 향상시킨다.
• 재구성 손실, 적대적 손실, 분류 제약 조건을 종합한 공동 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 특징 블록을 연결하여 최종 표현을 구성함으로써, 특정 속성에 따라 검색이나 이동을 가능하게 하는 후속 작업을 지원할 수 있다.

실험 결과

연구 질문

• RQ1 레이블이 전혀 없는 조건에서, 도메인 지식 없이도 변동 인자를 완전히 분리 가능한 방식으로 학습할 수 있는가?
• RQ2 다양한 속성 간에 인코딩 및 디코딩의 불변성을 어떻게 확보할 수 있는가? 이는 진정한 분리 성능 달성에 핵심적이다.
• RQ3 비지도 분리 학습에서 발생하는 단일 블록이 모든 정보를 차지하는 단순화 문제를 효과적으로 완화할 수 있는가?
• RQ4 학습된 특징 블록이 속성 이동이나 검색과 같은 의미 있는 이미지 조작을 어느 정도 지원할 수 있는가?
• RQ5 정량적 및 정성적 성능 측면에서 최신 기준(SOTA) 분리 모델과 비교해 볼 때, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• 모델은 MNIST, Sprites, CelebA에서 경쟁력 있는 분리 성능를 달성했으며, BEGAN 기반 모델은 헤어 컬러 속성에 대해 96.4%의 분류 정확도를 기록했고, DCGAN 기반 모델은 95.8%를 기록했다.
• CelebA 데이터셋에서 모델은 빛의 세기, 안경, 헤어 컬러, 헤어 스타일, 자세/미소 등 다섯 가지 의미 있는 속성을 성공적으로 발견했으며, 이는 속성 이동 및 최근접 이웃 검색을 통한 확인 결과로 뒷받침되었다.
• 분류 제약 조건이 비정상적인 해법을 효과적으로 방지하여, 블록 크기가 64에 이르는 큰 경우에도 모든 특징 블록이 표현에 의미 있게 기여함을 보장했다.
• 불변성 목표가 분리 성능 향상에 크게 기여했으며, 다양한 이미지 속성에 걸쳐 일관된 속성 이동 및 검색 성능이 유지됨을 입증했다.
• DCGAN 대비 더 뛰어난 이미지 생성 품질을 보이는 BEGAN 기반 모델이 분리 성능 지표에서 뛰어난 성능을 보였으며, 이는 적대적 훈련 하에서 더 나은 특징 분리 성능를 의미한다.
• 모델은 다양한 블록 크기 변화에 대해 강건성을 보였으며, 16차원에서 성능이 포화 상태에 도달했고, 큰 블록 크기에서도 효과적으로 기능했다. 이는 분류 제약 조건이 단순화 문제를 효과적으로 방지함을 확인시켜 주었다.