[논문 리뷰] The LORACs prior for VAEs: Letting the Trees Speak for the Data

Sharad Vikram, Matthew D. Hoffman외 1명|arXiv (Cornell University)|2018. 10. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 시간에 따라 최적화된 공통 조상(TMC) 기반의 베이지안 비모수 계층적 군집화 사전분포인 LORACs 사전분포를 제안한다. 이는 변분 오토에인코더(VAE)의 해석 가능성과 성능을 향상시키기 위한 것이다. 나무 구조를 가진 의존성으로 잠재 표현을 모델링함으로써, 더 의미 있는 이산적이고 계층적인 데이터 분해를 학습하게 되어, 표준 사전분포에 비해 낮은 가능도 점수를 보이더라도 후행 분류 및 검색 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

In variational autoencoders, the prior on the latent codes $z$ is often treated as an afterthought, but the prior shapes the kind of latent representation that the model learns. If the goal is to learn a representation that is interpretable and useful, then the prior should reflect the ways in which the high-level factors that describe the data vary. The "default" prior is an isotropic normal, but if the natural factors of variation in the dataset exhibit discrete structure or are not independent, then the isotropic-normal prior will actually encourage learning representations that mask this structure. To alleviate this problem, we propose using a flexible Bayesian nonparametric hierarchical clustering prior based on the time-marginalized coalescent (TMC). To scale learning to large datasets, we develop a new inducing-point approximation and inference algorithm. We then apply the method without supervision to several datasets and examine the interpretability and practical performance of the inferred hierarchies and learned latent space.

연구 동기 및 목표

• VAE에서 등방성 정규 사전분포의 한계를 해결하기 위해, 데이터 내 이산적이고 종속적인 구조를 가려내는 것을 목적으로 한다.
• 고차원 데이터 내 계층적 군집화 구조를 포괄할 수 있는 확장 가능한 비모수적 사전분포를 개발하기 위해이다.
• 자연스러운 변동 인자들을 반영한 해석 가능하고 구조화된 잠재 표현을 가능하게 하기 위해이다.
• 더 의미 있는 잠재 기하학을 학습함으로써 후행 작업인 분류 및 검색 성능을 향상시키기 위해이다.

제안 방법

• 잠재 공간 내 계층적 나무 구조에 대한 민감하고 해석 가능한 사전분포로 시간에 따라 최적화된 공통 조상(TMC)을 제안한다.
• 대규모 데이터셋에 대응하기 위해 TMC 사전분포를 확장하기 위해 유도점 근사법을 도입하여 미니배치 추론을 가능하게 한다.
• TMC 사전분포를 VAE 프레임워크와 결합함으로써, 계층적 사전분포를 갖는 딥 생성 모델의 엔드 투 엔드 학습을 가능하게 한다.
• 나무 구조를 가진 분산을 갖는 가우시안 가능도를 사용하여, 잠재 거리가 계층적 군집 구조와 일치하도록 한다.
• 모델 비교를 위해 1000개의 샘플을 사용한 중요도 가중 평균 자동에인코더(IWAE)를 활용해 보류된 로그가능도를 추정한다.
• 나무 구조와 잠재 코드에 대한 암시적 추론을 수행하는 변분 추론 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 비모수적 계층적 사전분포가 기존의 등방성 정규 사전분포에 비해 VAE가 학습한 잠재 표현의 해석 가능성에 기여하는가?
• RQ2 LORACs 사전분포는 대규모 데이터셋에 대해 계층적 구조를 유지하면서 얼마나 잘 스케일링되는가?
• RQ3 나무 구조를 가진 사전분포가 소수의 레이블이 있는 분류 및 정보 검색과 같은 후행 작업에서 더 높은 성능을 내는가?
• RQ4 LORACs 사전분포가 얼굴 데이터셋에서 성별과 얼굴 털과 같은 이산적이고 종속적인 변동 요인을 얼마나 잘 포착하는가?
• RQ5 후행 작업에서의 성능 향상은 더 높은 보류된 로그가능도와 관련이 있는가, 아니면 더 나은 구조적 인도적 편향 때문인가?

주요 결과

• LORACs 사전분포는 MNIST와 Omniglot 양쪽 모두에서 정보 검색의 정밀도-재현율 곡선 아래 면적(AUC)이 가장 높았으며, MNIST에서는 0.626 AUC, Omniglot에서는 0.087 AUC를 기록했다.
• 소수의 레이블이 있는 분류 작업에서 LORACs는 다른 사전분포를 지속적으로 능가했으며, 특히 Omniglot에서 낮은 레이블 수에서 뚜렷한 정확도 향상을 보였다.
• TSNE 시각화 결과, LORACs가 정규분포 및 VampPrior에 비해 더 농축되고 분리된 군집을 학습한 것으로 나타났다.
• 다른 사전분포에 비해 후행 작업에서 뛰어난 성능을 보였음에도 불구하고, LORACs 사전분포는 중간 정도의 보류된 로그가능도 점수를 기록하여 가능도가 표현 품질의 신뢰할 수 있는 지표가 아니라는 것을 시사한다.
• 유도점의 수동 레이블링 결과, LORACs 표현은 활성 학습에서 더 유용한 것으로 나타났으며, 더 적은 수의 레이블로도 더 높은 정확도를 달성했다.
• 유도점 근사법을 통해 확장성과 함께, 구조적 충실도를 손상시키지 않고 대규모 데이터셋에서도 학습이 가능함을 입증했다.