[논문 리뷰] Deep Mixtures of Factor Analysers

Yichuan Tang, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2012. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 13인용 수 33

한 줄 요약

이 논문은 깊이 있는 밀도 모델을 위한 탐욕적이고 계층적인 학습 방법인 딥 믹스처스 오브 팩터 분석기(Deep Mixtures of Factor Analysers, DMFA)를 제안한다. 방향성 그래픽 모델을 사용하여 계층적으로 팩터 분석기를 쌓고, 하위 계층의 로딩 행렬을 고차원 계층 간에 공유함으로써, 다양한 데이터셋에서 MFA와 RBM보다 더 뛰어난 생성 모델링 성능을 달성한다. 파라미터 공유 덕분에 효율성 향상과 과적합 감소를 동시에 달성한다.

ABSTRACT

An efficient way to learn deep density models that have many layers of latent variables is to learn one layer at a time using a model that has only one layer of latent variables. After learning each layer, samples from the posterior distributions for that layer are used as training data for learning the next layer. This approach is commonly used with Restricted Boltzmann Machines, which are undirected graphical models with a single hidden layer, but it can also be used with Mixtures of Factor Analysers (MFAs) which are directed graphical models. In this paper, we present a greedy layer-wise learning algorithm for Deep Mixtures of Factor Analysers (DMFAs). Even though a DMFA can be converted to an equivalent shallow MFA by multiplying together the factor loading matrices at different levels, learning and inference are much more efficient in a DMFA and the sharing of each lower-level factor loading matrix by many different higher level MFAs prevents overfitting. We demonstrate empirically that DMFAs learn better density models than both MFAs and two types of Restricted Boltzmann Machine on a wide variety of datasets.

연구 동기 및 목표

• 비지도 표현 학습을 위한 확장성 있고 효율적인 깊이 있는 밀도 모델을 개발하기 위해.
• 데이터의 계층적 구조를 포착하는 데 한계가 있는 얕은 모델(MFA 및 RBM)의 문제점을 해결하기 위해.
• 팩터 분석기를 사용하여 깊이 있는 방향성 모델에서 효과적인 탐욕적 계층별 훈련을 가능하게 하기 위해.
• 여러 고차원 혼합 모델 간의 파라미터 공유를 통해 과적합을 줄이기 위해.
• MFA 및 RBM과의 밀도 추정 성능 비교를 통해 실증적으로 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 계층을 이전 계층의 사후 표본을 기반으로 순차적으로 훈련하는 탐욕적이고 계층적인 학습 알고리즘을 제안하는 DMFA를 위한 알고리즘.
• 각 계층이 공유된 요인 로딩 행렬을 가진 팩터 분석기의 혼합으로 구성된 방향성 그래픽 모델 구조를 사용.
• 각 계층에서 사후 분포를 근사하기 위해 변분 추론을 적용하고, 이를 다음 계층의 입력으로 사용하는 표본을 생성.
• 유사한 얕은 모델과 달리 계층 간에 요인 로딩 행렬을 곱할 필요가 없기 때문에 효율적인 학습과 추론이 가능해짐.
• 각 하위 계층의 요인 로딩 행렬이 여러 고차원 혼합 모델에서 공유되도록 구현하여 과적합을 감소.
• 각 계층이 요인 분석 구성요소를 통해 점점 더 추상적인 표현을 학습하는 계층적인 생성 과정을 구현.

실험 결과

연구 질문

• RQ1 팩터 분석기를 사용한 탐욕적 계층별 접근 방식으로 깊이 있는 제너레이티브 모델을 효율적으로 훈련시킬 수 있는가?
• RQ2 여러 고차원 혼합 모델 간의 파라미터 공유가 과적합과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 깊이 있는 혼합 아키텍처가 MFA 및 RBM과 같은 얕은 모델보다 밀도 추정에서 뛰어난 성능을 보일 수 있는가?
• RQ4 순차적 훈련이 표현 품질과 우도 성능에 어떤 영향을 미치는가?
• RQ5 모델링 능력을 향상시키는 동안 계산 효율성을 유지할 수 있는가?

주요 결과

• DMFA는 다양한 데이터셋에서 MFA와 두 가지 유형의 제한된 볼츠만 기계(Restricted Boltzmann Machines)보다 유의미하게 높은 우도 점수를 달성한다.
• 탐욕적 계층별 훈련 전략은 전체 공동 최적화의 계산 부담을 피하면서 효율적인 학습과 추론을 가능하게 한다.
• 고차원 혼합 모델 간의 파라미터 공유로 인해, 특히 데이터가 제한된 깊이 있는 아키텍처에서 과적합이 감소한다.
• 요인 로딩 행렬을 곱하여 동등하게 만든 MFA와 비교해도 DMFA의 성능이 뛰어나다.
• 실증 결과는 DMFA가 기준 모델보다 더 표현력 있고 계층적인 표현을 학습함을 확인한다.
• 모델은 깊이 있는 계층적 생성 모델링을 가능하게 하면서도 계산 효율성을 유지한다.