[논문 리뷰] Learning Discrete and Continuous Factors of Data via Alternating Disentanglement

Yeonwoo Jeong, Hyun Oh Song|arXiv (Cornell University)|2019. 05. 23.

Anomaly Detection Techniques and Applications인용 수 19

한 줄 요약

이 논문은 변분 오토인코더에서 이산적이고 연속적인 요소를 번갈아가며 분리하는 CascadeVAE를 제안한다. 이는 추론을 분리함으로써 먼저 연속 잠복 변수에서 이산적 요소를 추론하고, 그 결과를 바탕으로 인코더를 업데이트하는 방식이다. 정보 연쇄와 번갈아 최적화를 통해 총 상관관계를 효율적으로 페널라이즈하여 dSprites, MNIST, FashionMNIST에서 최신 기준(SOTA) 수준의 분리도 점수와 비지도 분류 정확도를 달성한다.

ABSTRACT

We address the problem of unsupervised disentanglement of discrete and continuous explanatory factors of data. We first show a simple procedure for minimizing the total correlation of the continuous latent variables without having to use a discriminator network or perform importance sampling, via cascading the information flow in the $β$-vae framework. Furthermore, we propose a method which avoids offloading the entire burden of jointly modeling the continuous and discrete factors to the variational encoder by employing a separate discrete inference procedure. This leads to an interesting alternating minimization problem which switches between finding the most likely discrete configuration given the continuous factors and updating the variational encoder based on the computed discrete factors. Experiments show that the proposed method clearly disentangles discrete factors and significantly outperforms current disentanglement methods based on the disentanglement score and inference network classification score. The source code is available at https://github.com/snu-mllab/DisentanglementICML19.

연구 동기 및 목표

• 이미지와 같은 복잡한 데이터에서 이산적·연속적 요소의 비지도 분리 문제를 해결하기 위해.
• 기존 방법들이 단일 사후분포에서 이산적·연속적 요소를 함께 모델링함으로써 추론 네트워크의 부담을 가중시키고 분리도를 떨어뜨리는 한계를 극복하기 위해.
• 반복 최적화 과정을 통해 이산적·연속적 요소를 별도로 효과적으로 분리하는 방법을 개발하기 위해.
• 디세크리미네이터나 중요도 샘플링 없이도 연속 잠복 공간에서의 총 상관관계를 효율적으로 페널라이즈하는 방법을 제공하기 위해.
• 기준 데이터셋에서 분리도 점수를 통해 정량적으로, 잠복 변수 이동을 통해 정성적으로 분리도 성능을 향상시키기 위해.

제안 방법

• 이 방법은 $β$-VAE 프레임워크에 정보 연쇄를 도입하여 디세크리미네이터나 중요도 샘플링 없이도 암묵적으로 총 상관관계를 페널라이즈한다.
• 반복 최소화 절차를 제안한다: 첫째, 현재 연속 잠복 변수를 기반으로 가장 가능성이 높은 이산적 구성 요소를 추론하고, 둘째, 추론된 이산적 요소를 사용해 변분 인코더를 업데이트한다.
• 추론 과정에서 이산적·연속적 요소를 별도로 다룸으로써 모델링 부담을 분리함으로써 분리도 품질을 향상시킨다.
• 총 상관관계 페널티는 고차원 상호정보를 직접 계산하지 않는 연쇄적 정보 흐름 메커니즘을 통해 적용된다.
• 표준 VAE 아키텍처를 사용하며, 이산 추론과 인코더 업데이트 단계를 번갈아 수행하는 수정된 학습 목표를 적용한다.
• 이 방법은 CascadeVAE로 구현되었으며, GitHub에서 공개된 소스코드를 제공한다.

실험 결과

연구 질문

• RQ1 변분 오토인코더에서 이산적·연속적 요소의 추론을 분리함으로써 더 나은 분리도를 달성할 수 있는가?
• RQ2 이산적·연속적 요소 추론 간의 번갈아 최적화가 공동 모델링 대비 분리도 성능 향상에 기여하는가?
• RQ3 $β$-VAE 프레임워크에서 디세크리미네이터나 중요도 샘플링 없이도 총 상관관계를 효과적으로 페널라이즈할 수 있는가?
• RQ4 제안된 방법은 FactorVAE, JointVAE, $β$-VAE와 같은 최신 기준(SOTA) 분리도 방법들과 정량적·정성적 벤치마크에서 어떻게 비교되는가?
• RQ5 제안된 방법이 이산 요소의 비지도 분류 정확도 향상에 어느 정도 영향을 미치는가?

주요 결과

• dSprites에서 m=10일 때 CascadeVAE는 분리도 점수 81.41 (±9.54)를 기록하여 JointVAE(68.57 ± 9.19) 및 기타 베이스라인을 능가한다.
• MNIST에서는 이산 요소의 평균 비지도 분류 정확도가 84.19% (±5.02)를 기록하여 JointVAE의 78.33% (±7.18)를 크게 상회한다.
• FashionMNIST에서는 평균 분류 정확도 57.72% (±3.29)를 기록하여 JointVAE의 51.51% (±4.42)를 초월한다.
• MNIST 및 FashionMNIST의 잠복 변수 이동 결과에서 명확한 분리도가 관찰된다: 연속적 차원은 형태와 스타일을 제어하고, 이산적 차원은 숫자의 정체성과 객체 유형을 제어한다.
• 의자 데이터셋에서는 카테고리형 형태 요소가 성공적으로 분리되었으며, 이산 잠복 변수 이동 결과에서 명확한 의자 유형이 구분된다.
• 학습 과정 중 데이터와 잠복 변수 간의 상호정보가 증가하여, 특히 이산 요소에 대해 향상된 표현 학습이 이루어졌음을 확인한다.