[논문 리뷰] Neural Variational Inference and Learning in Belief Networks

Andriy Mnih, Karol Gregor|arXiv (Cornell University)|2014. 01. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 204

한 줄 요약

이 논문은 신경망 기반 변분 추론 및 학습(NVIL)을 소개한다. 이 방법은 정방향 추론 네트워크를 사용하여 변분 사후 분포에서 빠르고 정확한 샘플링을 가능하게 하여 방향적 신뢰망을 훈련시킨다. 변분 하한과 분산 감소 기반의 기울기 추정을 통해 모델과 추론 네트워크를 함께 최적화함으로써, MNIST와 Reuters RCV1에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Highly expressive directed latent variable models, such as sigmoid belief networks, are difficult to train on large datasets because exact inference in them is intractable and none of the approximate inference methods that have been applied to them scale well. We propose a fast non-iterative approximate inference method that uses a feedforward network to implement efficient exact sampling from the variational posterior. The model and this inference network are trained jointly by maximizing a variational lower bound on the log-likelihood. Although the naive estimator of the inference model gradient is too high-variance to be useful, we make it practical by applying several straightforward model-independent variance reduction techniques. Applying our approach to training sigmoid belief networks and deep autoregressive networks, we show that it outperforms the wake-sleep algorithm on MNIST and achieves state-of-the-art results on the Reuters RCV1 document dataset.

연구 동기 및 목표

• 정확한 추론이 불가능한 대규모 데이터셋에서 고표현력 방향 잠재변수 모델(예: 시그모이드 신뢰망)을 훈련시키는 데 도전하는 것.
• 기존의 근사 추론 방법이 스케일링에 취약하거나 모델 특화 도출이 필요한 한계를 극복하는 것.
• 이산 및 연속 잠재변수를 모두 지원하는 일반적이고 확장 가능하며 메모리 효율적인 방향 그래픽 모델 훈련 절차를 개발하는 것.
• 변분 하한과 실용적인 기울기 추정을 사용하여 생성 모델과 추론 네트워크를 함께 훈련하는 것.
• MNIST 및 Reuters RCV1와 같은 벤치마크 데이터셋에서 이 방법의 효과성을 입증하고 최신 기술 성능을 달성하는 것.

제안 방법

• 주어진 관측값에 대해 변분 사후 분포에서 빠르고 정확한 샘플링을 수행하기 위해 정방향 신경망을 추론 네트워크로 제안한다.
• 확률적 기울기 추정을 사용하여 로그우도의 변분 하한을 최대화함으로써 모델과 추론 네트워크를 함께 훈련시킨다.
• 기본값 빼기 및 제어 변수와 같은 일반적인 분산 감소 기법을 적용하여, 높은 분산으로 인해 실용성이 떨어지는 추론 네트워크의 기울기 추정기의 실용성을 높인다.
• 스토케스틱 샘플링 과정을 통해 역전파를 수행할 수 있도록 REINFORCE 알고리즘 프레임워크를 적용하여 엔드 투 엔드 훈련을 가능하게 한다.
• 이전 방법이 제한된 가정을 필요로 하는 것과 달리, 이 방법은 이산 및 연속 잠재변수와 복잡한 사후 분포의 종속성 구조를 모두 지원한다.
• 훈련 예제 간 잠재변수 상태를 저장할 필요가 없기 때문에 온라인 학습이 가능해져 메모리 효율성이 향상된다.

실험 결과

연구 질문

• RQ1 비반복적이고 정방향 추론 네트워크를 사용하여 방향적 신뢰망의 효율적이고 확장 가능한 훈련을 가능하게 할 수 있는가?
• RQ2 분산 감소 기반 기울기 추정이 난이도 높은 기울기 추정기인 REINFORCE 기반 추정을 추론 네트워크 훈련에 실용적으로 만들 수 있는가?
• RQ3 제안된 방법이 시그모이드 신뢰망 훈련에서 웨이크-슬립 알고리즘과 같은 기존 알고리즘을 초월할 수 있는가?
• RQ4 NVIL은 복잡하고 고차원적인 데이터를 포함한 대규모 문서 모델링 작업에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 이 방법은 모델 특화 도출 없이도 이산 및 연속 잠재변수와 복잡한 사후 구조를 모두 처리할 수 있을 정도로 일반적인가?

주요 결과

• NVIL은 MNIST에서 웨이크-슬립 알고리즘을 초월하여 200-200-200 SBN 아키텍처로 테스트 음수 로그우도 94.5를 달성한다.
• Reuters RCV1 데이터셋에서 200개의 잠재변수를 가진 fDARN 모델은 퍼플렉서티 598을 기록하여 새로운 최신 기술 기록을 수립한다.
• RCV1에서 50개의 잠재변수를 가진 fDARN 모델은 퍼플렉서티 724를 기록하여 DocNADE의 최고 공개 결과인 742를 초월한다.
• 20 Newsgroups에서 NVIL은 fDARN(50개의 잠재변수)로 퍼플렉서티 917을 기록하여 LDA와 Replicated Softmax를 능가하는 경쟁력 있는 성능을 달성한다.
• 이 방법은 확장 가능하고 메모리 효율적이며, 업데이트 간 잠재 상태 저장이 필요 없어 온라인 학습이 가능하다.
• 기존의 변분 방법이 제한된 가정을 필요로 하는 것과 달리, 이 방법은 다양한 모델 아키텍처에 일반화되며 이산 및 연속 잠재변수를 모두 지원한다.