[논문 리뷰] RNADE: The real-valued neural autoregressive density-estimator

Benigno Uría, Iain Murray외 1명|arXiv (Cornell University)|2013. 06. 02.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 107

한 줄 요약

RNADE는 공유 파라미터와 혼합 밀도 네트워크를 사용하여 실수값 벡터의 공동 밀도 추정을 위한 계산 가능하고 깊이 있는 생성 모델을 소개한다. 이 모델은 기울기 하강법을 통한 효율적인 가능도 계산과 훈련을 가능하게 하며, 대부분의 감각적이고 이질적인 데이터셋에서 혼합 모델을 능가한다. 또한 분산 표현을 학습한다.

ABSTRACT

We introduce RNADE, a new model for joint density estimation of real-valued vectors. Our model calculates the density of a datapoint as the product of one-dimensional conditionals modeled using mixture density networks with shared parameters. RNADE learns a distributed representation of the data, while having a tractable expression for the calculation of densities. A tractable likelihood allows direct comparison with other methods and training by standard gradient-based optimizers. We compare the performance of RNADE on several datasets of heterogeneous and perceptual data, finding it outperforms mixture models in all but one case.

연구 동기 및 목표

• 직접 가능도 계산이 가능한 유연하고 계산 가능한 실수값 데이터의 공동 밀도 추정 모델을 개발하기 위해.
• 신경 자동재귀 분포 추정기(NADE)를 혼합 밀도 네트워크를 통합하여 실수값 입력으로 확장하기 위해.
• 계산 가능한 가능도 함수를 통해 표준 기울기 기반 최적화 방법을 효율적으로 사용할 수 있도록 하기 위해.
• 파라미터 공유를 통해 데이터의 분산 표현을 학습하여 제한된 데이터에서 일반화 성능을 향상시키기 위해.
• 감각적이고 이질적인 데이터셋에서 전통적인 혼합 모델보다 밀도 추정 성능을 뛰어나게 하기 위해.

제안 방법

• RNADE는 실수값 벡터의 공동 밀도를 체인 법칙을 사용하여 일련의 일변도 조건부 밀도의 곱으로 인수분해한다.
• 각 조건부 밀도는 입력 차원 간에 공유된 가중치를 가진 순방향 신경망을 사용하여 가우시안 혼합 모델로 모델링된다.
• 신경망의 입력에서 은닉층으로의 가중치에 대해 파라미터 묶음을 적용하여 모델 복잡도를 감소시키고 효율적인 계산을 가능하게 한다.
• 공유된 파라미터를 가진 혼합 밀도 네트워크를 사용하여 각 조건부 분포의 평균, 분산 및 혼합 가중치를 모델링한다.
• 자기회귀적 순서에 따라 은닉 활성화를 재귀적으로 계산함으로써 O(DH) 시간에 가능도를 효율적으로 계산한다.
• 역전파를 사용하여 모든 모델 파라미터에 대한 가능도의 기울기를 계산하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공유 파라미터와 혼합 밀도 출력을 가진 깊이 있는 신경망이 기존 혼합 모델보다 더 효과적으로 복잡한 실수값 공동 밀도를 모델링할 수 있는가?
• RQ2 자기회귀 흐름에서 공유된 가중치 사용이 작은 데이터셋에서 일반화 성능을 향상시키는가?
• RQ3 샘플링 기반 추론에 의존하지 않고도 실수값 생성 모델에서 계산 가능한 가능도를 달성할 수 있는가?
• RQ4 감각적이고 이질적인 데이터에서 RNADE는 혼합 모델과 다른 깊이 있는 생성 모델에 비해 밀도 추정 성능에서 어떻게 비교되는가?
• RQ5 모델은 단일 구성 요소 모델보다 더 나은 구조를 반영하는 데이터의 분산 표현을 학습할 수 있는가?

주요 결과

• RNADE는 테스트된 데이터셋 중 유일한 하나를 제외한 모든 경우에서 혼합 모델을 능가하여 더 뛰어난 모델링 능력을 입증한다.
• 이미지 패치의 밀도 추정에서 최고 성능을 기록하여 복잡한 감각적 데이터 분포를 밀접하게 근사할 수 있음을 시사한다.
• 공유된 파라미터의 사용으로 입력 차원 수에 대해 파라미터 수가 제곱에서 선형으로 감소하여 일반화 성능 향상과 과적합 감소에 기여한다.
• 계산 가능한 가능도 덕분에 표준 기울기 기반 방법을 직접 최적화할 수 있으며, 근사 추론이나 샘플링이 필요로 하지 않는다.
• 다중 활성 은닉 유닛을 통해 분산 표현을 학습하여 단일 구성 요소 모델보다 실제 세계 데이터의 구조를 더 잘 반영한다.
• 실험 결과에 따르면 혼합 밀도 네트워크 구성 요소 덕분에 비제약 혼합 모델보다 적은 구성 요소로 비선형성과 이방성 데이터를 모델링할 수 있다.