[논문 리뷰] Hierarchical Adversarially Learned Inference

Mohamed Ishmael Belghazi, Sai Rajeswar외 4명|arXiv (Cornell University)|2018. 02. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 20

한 줄 요약

이 논문은 계층적 마르코프 잠재 구조를 갖춘 깊이 생성 모델인 계층적 적대적 학습 추론(HALI)을 제안한다. 이는 ALI 프레임워크를 계층적이고 마르코프 방식의 잠재 구조로 확장하여 점차 더 추상적인 표현을 학습한다. 생성자와 추론 네트워크를 함께 적대적으로 훈련시킴으로써, HALI는 반감성 학습 MNIST 분류에서 최고 성능을 기록하고, CelebA에서 수동으로 만든 특징을 능가하는 비반감성 속성 예측 성능을 보이며, 적대적 훈련만으로도 재구성 오차를 최소화할 수 있음을 입증한다. 이는 의미적으로 유의미한 다수준 재구성을 가능하게 한다.

ABSTRACT

We propose a novel hierarchical generative model with a simple Markovian structure and a corresponding inference model. Both the generative and inference model are trained using the adversarial learning paradigm. We demonstrate that the hierarchical structure supports the learning of progressively more abstract representations as well as providing semantically meaningful reconstructions with different levels of fidelity. Furthermore, we show that minimizing the Jensen-Shanon divergence between the generative and inference network is enough to minimize the reconstruction error. The resulting semantically meaningful hierarchical latent structure discovery is exemplified on the CelebA dataset. There, we show that the features learned by our model in an unsupervised way outperform the best handcrafted features. Furthermore, the extracted features remain competitive when compared to several recent deep supervised approaches on an attribute prediction task on CelebA. Finally, we leverage the model's inference network to achieve state-of-the-art performance on a semi-supervised variant of the MNIST digit classification task.

연구 동기 및 목표

• 순수하게 적대적 프레임워크 내에서 점차 더 추상적인 표현을 학습하는 계층적 생성 모델을 개발하는 것.
• 적대적 훈련만으로도 명시적인 재구성 손실 없이 재구성 오차를 최소화할 수 있는지 조사하는 것.
• 하류 작업인 속성 예측 및 반감성 분류 과제에서 추론 네트워크가 학습한 비반감성 표현의 품질을 평가하는 것.
• 계층적 구조가 다중 품질 재구성과 의미적으로 분리된 의미 특징의 향상 가능성을 입증하는 것.

제안 방법

• 데이터 x → z → y의 계층적 마르코프 잠재 구조를 제안하며, z는 중간 표현을 나타내고 y는 이산 레이블을 의미한다.
• 진짜 데이터와 생성된 샘플을 구분하기 위해 판별기(discriminator)를 사용하여 생성자(디코더)와 추론 네트워크(에코더)를 함께 적대적으로 훈련시킨다.
• 잠재 변수 z에서 데이터 공간으로 매핑하는 조건부 생성자와, x에서 z로 매핑하는 확률적 에코더(등방성 가우시안 노이즈 포함)를 사용한다.
• 반감성 학습을 가능하게 하기 위해 최상위 레이어 잠재 변수 y에 대해 감독 손실 항목을 도입하며, 예측된 클래스 확률에 대한 교차 엔트로피를 사용한다.
• 재구성 오차를 명시적인 손실 없이도 암묵적으로 최소화하기 위해 적대적 훈련을 활용하며, 젠슨-쇼넌 다이버전스 최소화에 기반한 이론적 논거를 제시한다.
• 표현 학습 중 레이블에 대한 미세조정 없이도, CelebA에서 선형 SVM 분류 및 반감성 MNIST에서의 표현을 추출한 후 평가한다.

실험 결과

연구 질문

• RQ1 계층적 모델에서 순수하게 적대적 훈련 프레임워크가 명시적인 재구성 손실 없이도 효과적인 재구성을 달성할 수 있는가?
• RQ2 계층적 구조가 점차 더 추상적이고 의미적으로 유의미한 표현을 학습하는 데 기여하는가?
• RQ3 추론 네트워크에서 추출한 비반감성 특징이 손으로 만든 특징과 깊은 반감성 특징보다 속성 예측에서 더 우수한 성능을 내는가?
• RQ4 계층적 추론 네트워크가 최소한의 레이블 데이터로 반감성 학습에서 최고 성능을 달성할 수 있는가?

주요 결과

• HALI는 100개의 레이블이 있는 반감성 MNIST 과제에서 테스트 오차 73을 기록하여, 이전 최고 성능 모델인 GSSLTRABG(79.5 ± 9.8)와 Feature-Matching GAN(93 ± 6.5)을 모두 능가한다.
• CelebA 속성 예측 과제에서 HALI는 평균 균형 정확도 83.75%를 달성하여 VAE(73.30%)와 ALI(73.88%)를 능가하며, 최고의 수동 특징(PANDA: 76.95%)을 초월한다.
• HALI는 40개의 속성 중 15개에서 최고 성능을 기록했고, 최고의 감독 기반 베이스라인(LMLE-kNN)의 22개에 비해 낮은 수치를 기록함으로써 강력한 일반화 능력과 분리 능력을 보여준다.
• 모델는 계층 깊이가 증가할수록 향상된 인지적 품질을 가지며, 의미적으로 의미 있는 여러 수준의 재구성 결과를 생성한다.
• 이론적 분석에 따르면, 진짜 분포와 생성된 분포 간 젠슨-쇼넌 다이버전스를 최소화하는 것은 명시적인 재구성 손실이 없을 때도 재구성 오차를 최소화하는 데 충분하다.
• 레이블 없이 훈련된 HALI 에코더에서 추출한 비반감성 특징는 레이블 없이도 깊은 반감성 모델과 경쟁 가능한 성능을 유지한다.