[논문 리뷰] A Deep and Tractable Density Estimator

Benigno Uría, Iain Murray외 1명|arXiv (Cornell University)|2013. 10. 07.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 104

한 줄 요약

이 논문은 모든 가능한 변수 순서에 대해 공유 파라미터를 통해 동시에 NADE 모델을 훈련하는 순서에 민감하지 않은 훈련 절차를 제안한다. 이 방법은 정확한 주변화 및 조건부 확률 계산을 가능하게 하며, 선형 계산 오버헤드로 깊은 아키텍처를 지원하고, 실시간 앙상블 생성을 허용하여 상태 기준 밀도 추정 성능을 달성한다. 특히 6층 모델로 BSDS300 이미지 패치 데이터셋에서 155.2의 로그우도를 기록하였다.

ABSTRACT

The Neural Autoregressive Distribution Estimator (NADE) and its real-valued version RNADE are competitive density models of multidimensional data across a variety of domains. These models use a fixed, arbitrary ordering of the data dimensions. One can easily condition on variables at the beginning of the ordering, and marginalize out variables at the end of the ordering, however other inference tasks require approximate inference. In this work we introduce an efficient procedure to simultaneously train a NADE model for each possible ordering of the variables, by sharing parameters across all these models. We can thus use the most convenient model for each inference task at hand, and ensembles of such models with different orderings are immediately available. Moreover, unlike the original NADE, our training procedure scales to deep models. Empirically, ensembles of Deep NADE models obtain state of the art density estimation performance.

연구 동기 및 목표

• 고정된 변수 순서로 인해 주변화 및 임의의 변수 부분집합에 대한 조건부 확률 계산이 어려운 NADE의 한계를 해결하기 위해.
• 얕은 모델에 비해 선형적인 계산 오버헤드로만 증가하는 깊은 NADE 모델을 훈련할 수 있도록 하기 위해.
• 추가적인 훈련 비용 없이 다양한 순서에서 훈련된 NADE 모델의 앙상블을 실시간으로 생성할 수 있도록 하기 위해.
• 실제 데이터셋, 특히 고차원 데이터인 이미지 패치와 같은 데이터에 대해 밀도 추정 성능을 향상시키기 위해.

제안 방법

• 모든 순열에 걸쳐 파라미터를 공유함으로써 모든 가능한 변수 순서에 대해 암시적으로 NADE를 표현하는 단일 공유 모델을 훈련한다.
• 모든 순서에 대한 평균 음의 로그우도를 최적화하기 위해 확률적 경사 하강법을 사용하여, 팩터리얼 수의 모델을 동시에 훈련할 수 있도록 한다.
• 깊은 아키텍처에서도 효율성을 유지하기 위해 은닉 활성화의 재귀적 계산(식 5)을 사용한다.
• 다양한 순서 간의 일관성 부족을 활용하여 실시간으로 앙상블을 생성함으로써 일반화 및 우도 추정 성능을 향상시킨다.
• 실수형 데이터를 위한 RNADE 확장에서 혼합 밀도 네트워크(MDNs)를 적용하여 연속 분포를 모델링할 수 있도록 한다.
• 오버피팅을 방지하기 위해 조기 정지와 학습률 스케줄링을 사용한다. 이는 깊은 모델과 많은 층을 가진 경우에도 효과적이다.

실험 결과

연구 질문

• RQ1 고정된 순서를 설정하지 않고도 어떤 변수 부분집합에 대해서도 정확한 주변화 및 조건부 확률 계산이 가능한 단일 모델을 훈련할 수 있는가?
• RQ2 NADE를 초과 선형적인 계산 비용 증가 없이 깊은 아키텍처로 확장할 수 있는가?
• RQ3 추가적인 앙상블 훈련 없이, 다양한 순서에서 훈련된 NADE 모델의 앙상블이 밀도 추정 성능을 향상시킬 수 있는가?
• RQ4 순서에 민감하지 않은 훈련 절차가 BSDS300 이미지 패치와 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 BSDS300의 8×8 자연 이미지 패치에서 테스트 세트 로그우도 157.0을 기록하여, 혼합 가우시안 및 고정 순서 RNADE를 포함한 모든 이전 방법을 능가하였다.
• 순서에 민감하지 않은 절차로 훈련된 6은닉층 RNADE는 155.2의 로그우도를 기록하여 고정 순서 기반 베이스라인(152.1)과 모든 얕은 모델을 초월하였다.
• 32개 순서의 앙상블(EoRNADE 6hl 32 ord.)은 157.0의 로그우도를 기록하여 실시간 앙상블 생성이 최소한의 추론 비용으로 성능 향상을 이끌 수 있음을 보여주었다.
• 이 방법은 깊이에 대해 선형적으로 스케일링된다: 6층 모델 훈련은 얕은 모델 대비 선형적인 계산 증가만을 초래하였다.
• 6개의 은닉층을 사용한 경우에도 오버피팅이 관찰되지 않았으며, 검증 비용이 점진적으로 증가하지 않아 더 깊은 모델로의 성능 향상 가능성이 있음을 시사한다.
• MCMC 기반 또는 변분 방법과 달리 정확한 샘플링 및 주변화를 가능하게 하며, 동시에 계산 가능한 정확한 우도를 유지한다.