[논문 리뷰] MADE: Masked Autoencoder for Distribution Estimation

Mathieu Germain, Karol Gregor외 2명|arXiv (Cornell University)|2015. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 335

한 줄 요약

MADE는 매개변수 마스킹을 통해 자동귀환적 제약 조건을 강제하는 마스킹된 오토인코더 프레임워크를 소개한다. 이는 단일 순방향 전파를 통해 효율적이고 정확한 분포 추정을 가능하게 한다. 다양한 순서로 훈련하고 GPU 최적화된 벡터화를 활용함으로써, MADE는 이산적이고 계산이 가능한 공동 확률 추정에서 최신 기술 수준의 성능을 달성한다. 이는 이진화된 MNIST 및 UCI 데이터셋에서 기존 모델인 NADE와 RBM을 능가하며, 훨씬 더 빠른 스케일링을 보인다.

ABSTRACT

There has been a lot of recent interest in designing neural network models to estimate a distribution from a set of examples. We introduce a simple modification for autoencoder neural networks that yields powerful generative models. Our method masks the autoencoder's parameters to respect autoregressive constraints: each input is reconstructed only from previous inputs in a given ordering. Constrained this way, the autoencoder outputs can be interpreted as a set of conditional probabilities, and their product, the full joint probability. We can also train a single network that can decompose the joint probability in multiple different orderings. Our simple framework can be applied to multiple architectures, including deep ones. Vectorized implementations, such as on GPUs, are simple and fast. Experiments demonstrate that this approach is competitive with state-of-the-art tractable distribution estimators. At test time, the method is significantly faster and scales better than other autoregressive estimators.

연구 동기 및 목표

• 신경망을 사용하여 계산이 가능한 공동 분포 추정을 위한 단순하고 효율적인 방법을 개발하기 위해.
• 고차원 설정에서 기존 자동귀환적 모델의 확장성과 계산 비용 문제를 해결하기 위해.
• 마스킹된 오토인코더의 벡터화된 GPU 구현을 통해 빠른 추론과 훈련을 가능하게 하기 위해.
• 다양한 입력 순서로의 훈련을 탐색하여 다양한 데이터 분포에서의 일반화 능력과 성능 향상을 위해.
• 최신 기술 수준의 계산 가능한 분포 추정기와 비교하여 경쟁적인 통계 성능을 입증하기 위해.

제안 방법

• 표준 오토인코더의 가중치 행렬에 학습 가능한 마스크를 적용하여 자동귀환적 제약 조건을 강제함으로써, 각 출력이 고정된 순서에서 이전 입력에만 의존하도록 보장한다.
• 각 순방향 전파 또는 샘플링 시 하나의 마스크를 사용하거나, 훈련 중에 여러 마스크를 샘플링하여 모델이 다양한 입력 순서에 일반화할 수 있도록 한다.
• 출력 확률이 각 입력 차원의 조건부 분포를 나타내는 교차 엔트로피 손실을 사용하여 모델을 훈련한다.
• ReLU 활성화 함수와 시그모이드 출력 레이어를 사용하며, 마스킹된 연결에 대해 가중치 공유를 구현하여 계산 효율성을 유지한다.
• 마스킹된 은닉 레이어를 스택하여 깊은 아키텍처로 확장함으로써, 모든 수준에서 자동귀환적 구조를 유지한다.
• 학습률 적응 최적화 기법(예: AdaGrad)과 학습률, 은닉 유닛 수, 마스크 수 등의 하이퍼파라미터 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 표준 오토인코더를 수정하여 효율적이고 계산 가능한 공동 분포 추정기로 활용할 수 있는가?
• RQ2 오토인코더의 가중치를 마스킹하여 자동귀환적 제약 조건을 강제할 경우, 모델 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 고정 순서 모델과 비교하여 다수의 랜덤 입력 순서로 훈련하면 일반화 능력과 테스트 가능도가 향상되는가?
• RQ4 고차원 이진 데이터에서 기존 모델인 NADE와 RBM과 비교해 MADE의 성능과 추론 속도는 어떠한가?
• RQ5 과도한 정규화를 방지하면서 가능도를 최대화하기 위한 최적의 마스크 수와 은닉 유닛 수는 얼마인가?

주요 결과

• 2개의 은닉 레이어와 32개의 마스크를 가진 MADE는 이진화된 MNIST에서 음의 로그 가능도 86.64를 기록했으며, 단일 레이어 NADE(88.33)를 능가하고 최고의 기존 결과와 동일한 성능을 달성했다.
• 32개의 마스크를 가진 2개의 은닉 레이어를 가진 MADE 모델은 테스트 가능도 86.64를 기록했으며, 이는 단일 레이어 버전(88.40)보다 우수했고, 깊이가 증가함에 따라 더 뛰어난 강건성을 보였다.
• 단일 레이어 모델의 경우 8개 이상, 깊은 모델의 경우 4개 이상의 마스크를 사용할 경우 과도한 정규화가 발생하여 음의 로그 가능도가 증가했으며, 이는 최적의 마스크 수가 존재함을 시사한다.
• 32개의 마스크로 훈련할 경우 K20 GPU에서 에포크당 훈련 시간이 100초로 증가했지만, 500개의 은닉 유닛을 가진 130초의 NADE 기준선보다 훨씬 빠른 성능를 유지했다.
• 모델은 훈련 세트의 가장 가까운 이웃과 시각적으로 다를 바 있는 다양하고 기억하지 않은 샘플을 생성했으며, 이는 단순한 보간을 넘는 생성 능력을 확인시켰다.
• 기타 자동귀환적 모델과 비교해 MADE는 훨씬 뛰어난 확장성과 추론 속도를 보였으며, 평가 비용은 표준 신경망 추론보다 오직 O(D) 배 높을 뿐이었다.