[논문 리뷰] JADE: Joint Autoencoders for Dis-Entanglement

Ershad Banijamali, Amir-Hossein Karimi외 2명|arXiv (Cornell University)|2017. 11. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 16

한 줄 요약

JADE는 소수의 레이블이 부여된 데이터셋(예: SVHN)과 대규모 보조 데이터셋(예: MNIST) 간의 공통된 변동 요인을 분리하는 공동 변동 자동인코더 프레임워크를 제안한다. 이는 레이블이 부족한 조건에서의 지도 학습 분류 성능을 향상시키기 위한 것이다. 두 데이터셋을 함께 학습함으로써 JADE는 콘텐츠(공통, 레이블 관련 요인)와 스타일(데이터셋 고유의 변동)을 분리한다. 레이블이 1,000개 뿐인 SVHN에서 테스트 정확도 29.08%를 달성하였으며, 이는 라벨이 없는 경우 기준 모델보다 뛰어나고, 비라벨 데이터 없이도 효과적인 분리가 가능함을 보여준다.

ABSTRACT

The problem of feature disentanglement has been explored in the literature, for the purpose of image and video processing and text analysis. State-of-the-art methods for disentangling feature representations rely on the presence of many labeled samples. In this work, we present a novel method for disentangling factors of variation in data-scarce regimes. Specifically, we explore the application of feature disentangling for the problem of supervised classification in a setting where few labeled samples exist, and there are no unlabeled samples for use in unsupervised training. Instead, a similar datasets exists which shares at least one direction of variation with the sample-constrained datasets. We train our model end-to-end using the framework of variational autoencoders and are able to experimentally demonstrate that using an auxiliary dataset with similar variation factors contribute positively to classification performance, yielding competitive results with the state-of-the-art in unsupervised learning.

연구 동기 및 목표

• 레이블이 부족한 환경에서, 즉 비라벨 데이터가 존재하지 않는 반도급 학습 환경에서 지도 분류 문제를 해결하는 것.
• 유사한 변동 요인을 공유하는 더 큰 데이터셋이 레이블이 부족한 상황에서 분류 성능 향상에 기여할 수 있는지 탐색하는 것.
• 변동 자동인코더를 사용하여 두 데이터셋 간에 콘텐츠(공통, 레이블 관련)와 스타일(데이터셋 고유) 요인을 공동으로 분리하는 방법을 개발하는 것.
• 공동 학습을 통해 공통 요인을 분리하면 저자료 환경에서 일반화 성능 향상과 과적합 감소에 기여함을 보여주는 것.

제안 방법

• JADE는 콘텐츠를 위한 공통 잠재 공간 구성요소와 스타일을 위한 별도의 구성요소를 갖춘 공동 변동 자동인코더 아키텍처를 사용하며, 주된(소규모) 및 보조(대규모) 데이터셋 모두에서 엔드 투 엔드로 학습된다.
• 주 데이터셋과 보조 데이터셋 각각에 대해 별도의 인코더를 사용하며, 콘텐츠 인코딩 잠재 변수에 대해 공통 추론 네트워크를 사용하여 공통 요인의 분리를 강제한다.
• 콘텐츠 잠재 변수의 사후 분포를 스타일과 조건부로 독립적으로 모델링하고, 두 데이터셋 모두에 대해 공통 사전 분포를 사용함으로써 분리를 강제한다.
• 보조 데이터셋의 풍부한 데이터를 활용해 콘텐츠 요인의 분리를 향상시키며, 이를 소수의 레이블이 있는 데이터셋에서 분류기 학습에 활용한다.
• 모델은 증거 하한 경계(ELBO) 목적함수를 사용하여 학습되며, 두 데이터셋 모두에 대해 재구성 오차와 KL 발산 항목이 포함된다.
• 비교를 위해 동일한 인코더를 공유하지만 명시적인 분리 조건이 없는 쌍체 분류기 기준 모델을 사용한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터가 존재하지 않는 상황에서, 공통된 변동 요인을 공유하는 대규모 보조 데이터셋이 소수의 레이블이 있는 데이터셋에서의 분류 성능 향상에 기여할 수 있는가?
• RQ2 공통 콘텐츠 요인을 데이터셋 고유의 스타일 요인에서 명시적으로 분리하면 저자료 환경에서의 일반화 성능 향상에 기여하는가?
• RQ3 두 유사한 데이터셋을 함께 학습하는 것과 주 데이터셋에서만 학습하거나, 분리 조건 없이 쌍체 분류기로 학습하는 것과의 성능 비교는 어떻게 되는가?
• RQ4 주 데이터셋에서 레이블이 소수 뿐인 상황에서, 잠재 공간에서 콘텐츠와 스타일을 얼마나 효과적으로 분리할 수 있는가?

주요 결과

• JADE는 레이블이 1,000개 뿐인 SVHN에서 테스트 정확도 29.08% ± 0.92를 달성하였으며, 단일 분류기 기준 모델(32.31% ± 1.56)과 쌍체 분류기(30.17% ± 2.77)보다 뛰어난 성능을 보였다.
• 콘텐츠를 고정했을 때 분류기 정보가 반영된 잠재 공간의 활성화 분산이 유의미하게 낮아, 콘텐츠와 스타일의 효과적인 분리가 이루어졌음을 시사한다.
• 콘텐츠와 스타일이 모두 변할 때 20개의 모든 잠재 매개변수들이 활성화되어, 모델이 공동 잠재 공간에서 다양한 변동을 포괄하고 있음을 확인하였다.
• 결과는 공통된 변동 요인(콘텐츠)이 효과적으로 분리되고 분류에 활용되며, 스타일 요인은 억제됨을 보여준다.
• 비록 레이블이 1,000개 뿐이지만, 상태 기반 비지도 학습 방법(수십만 개의 샘플 사용)과 경쟁 가능한 성능을 달성하였다.
• 잠재 공간 활성화 시각화 결과, 모델이 콘텐츠와 스타일을 분리하는 데 성공했으며, 콘텐츠 관련 잠재 변수는 고정된 콘텐츠에서는 낮은 분산, 변화하는 콘텐츠에서는 높은 활성도를 보였다.