[논문 리뷰] Iterative Neural Autoregressive Distribution Estimator (NADE-k)

Tapani Raiko, Li Yao외 2명|arXiv (Cornell University)|2014. 06. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 23

한 줄 요약

이 논문은 밀도 추정 성능을 향상시키기 위해 결측치를 재구성하기 위해 k번의 추론 단계를 수행하는 반복적 확장인 NADE-k를 제안한다. 이는 파rameter 수를 늘리지 않고도 모델 용량을 향상시킨다. NADE-k는 계산 가능성이 보장되는 우도 계산, 효율적인 샘플링, 그리고 변분 추론에 영감을 받은 다단계 추론 기반 메커니즘을 통해 두 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Training of the neural autoregressive density estimator (NADE) can be viewed as doing one step of probabilistic inference on missing values in data. We propose a new model that extends this inference scheme to multiple steps, arguing that it is easier to learn to improve a reconstruction in $k$ steps rather than to learn to reconstruct in a single inference step. The proposed model is an unsupervised building block for deep learning that combines the desirable properties of NADE and multi-predictive training: (1) Its test likelihood can be computed analytically, (2) it is easy to generate independent samples from it, and (3) it uses an inference engine that is a superset of variational inference for Boltzmann machines. The proposed NADE-k is competitive with the state-of-the-art in density estimation on the two datasets tested.

연구 동기 및 목표

• NADE의 단일 단계 순차적 추론의 한계를 해결하기 위해, 훈련 과정에서 계산 가능함에도 불구하고 모델 용량이 제한됨을 개선한다.
• 결측치에 대해 k번의 반복적 추론 단계를 수행하도록 NADE를 확장하여 우도 추정 및 생성 성능을 향상시킨다.
• 표준 NADE 및 순서에 무관한 훈련 변형보다도 우월함과 동시에, 우도 계산의 계산 가능성과 효율적인 샘플링을 유지한다.
• 반복적 추론이 단일 단계 순차적 모델 대비 매개변수 효율성 향상에 기여하는지 탐구한다.

제안 방법

• NADE-k는 관측된 값이 주어진 조건부 확률을 n층의 딥 피드포워드 신경망을 사용하여 모델링하며, 이를 k단계에 걸쳐 반복 적용한다.
• 관측된 값은 고정되고, 결측치는 훈련 데이터의 평균으로 초기화된 마스크된 입력 벡터를 사용하여 반복적인 개선이 가능하도록 한다.
• 각 반복 단계에서 네트워크는 현재 입력 벡터 상태를 기반으로 다음 값을 예측하며, 이 과정을 k번 반복하여 재구성 정확도를 향상시킨다.
• 훈련 목표는 모든 데이터 순서에 대해 평균화된 음의 로그우도를 최소화하는 것으로, 무작위 순서와 무작위 시작 인덱스 d를 샘플링하는 스트로스틱 추정기를 사용한다.
• 모델 아키텍처는 깊이와 반복 횟수를 자유롭게 조정할 수 있으며, NADE와 다중 예측 딥 볼츠만 기계의 구조와 유사하다.
• 추론 엔진은 볼츠만 기계의 변분 추론의 슈퍼셋이며, 반복적인 개선을 통해 진짜 데이터 분포를 더 잘 근사할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 반복적 추론은 모델 복잡도를 증가시키지 않으면서도, NADE와 같은 순차적 모델의 우도 추정 성능을 향상시킬 수 있는가?
• RQ2 결측치에 대해 k번의 추론 단계를 수행하면 단일 단계 순차적 모델 대비 더 높은 매개변수 효율성을 달성할 수 있는가?
• RQ3 NADE-k는 계산 가능성이 보장되는 우도와 샘플링을 유지하면서도, 표준 NADE 및 순서에 무관한 훈련 변형보다도 우월한 성능을 낼 수 있는가?
• RQ4 추론 반복 횟수(k)가 밀도 추정 작업에서 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 NADE-k의 반복적 재구성은 RBM 및 DBN과 같은 더 복잡한 생성 모델의 성능을 따라하거나 초월할 수 있는가?

주요 결과

• 1000개의 은닉 유닛을 가진 NADE-k는 670개의 은닉 유닛을 가진 NADE-mask보다 우수한 성능을 보이며, 테스트 로그우도 -108.81을 기록한 반면, NADE-mask는 -112.51을 기록했다.
• 4000개의 은닉 유닛을 가진 NADE-5는 테스트 로그우도 -107.28을 달성하여, 4000개의 은닉 유닛을 가진 RBM가 기록한 이전 최고 성능인 -107.78를 초월했다.
• 1000개의 은닉 유닛을 가진 NADE-2는 동일한 수의 매개변수를 가진 RBM와 동일한 성능을 보이며, 더 높은 매개변수 효율성을 입증했다.
• 모든 테스트된 매개변수 설정에서 NADE-mask보다 NADE-k가 뛰어난 성능을 보이며, 반복적 추론이 모델 용량을 향상시킨다는 것을 입증했다.
• NADE-k에서 생성된 샘플은 고품질의 재구성 결과를 보이며, 데이터 분포 패턴을 효과적으로 학습했다는 것을 시사한다.
• 정규화에 대해 모델 성능이 뛰어나게 유지되었으며, L2 가중치 감소와 드롭아웃은 특히 고용량 설정에서 일반화 능력을 향상시켰다.