[논문 리뷰] Iterative Amortized Inference

Joseph Marino, Yisong Yue외 1명|arXiv (Cornell University)|2018. 07. 24.

Generative Adversarial Networks and Image Synthesis인용 수 37

한 줄 요약

이 논문은 깊이 있는 잠재변수 모델에서 변분 추론을 향상시키기 위해 암시적 경량화된 추론을 도입한다. 이 방법은 인코딩된 기울기를 사용하여 근사 사후 분포 추정치를 반복적으로 개선함으로써, 암시적 경량화 갭을 줄이고 이미지 및 텍스트 벤치마크에서 최신 기술 수준의 성능을 달성한다. 표준 추론 모델보다 재구성 및 우도 목표에서 뛰어난 성능을 보인다.

ABSTRACT

Inference models are a key component in scaling variational inference to deep latent variable models, most notably as encoder networks in variational auto-encoders (VAEs). By replacing conventional optimization-based inference with a learned model, inference is amortized over data examples and therefore more computationally efficient. However, standard inference models are restricted to direct mappings from data to approximate posterior estimates. The failure of these models to reach fully optimized approximate posterior estimates results in an amortization gap. We aim toward closing this gap by proposing iterative inference models, which learn to perform inference optimization through repeatedly encoding gradients. Our approach generalizes standard inference models in VAEs and provides insight into several empirical findings, including top-down inference techniques. We demonstrate the inference optimization capabilities of iterative inference models and show that they outperform standard inference models on several benchmark data sets of images and text.

연구 동기 및 목표

• 표준 추론 모델이 완전히 최적화된 사후 분포 추정치에 도달하지 못하는 암시적 경량화 갭을 해결하기 위해.
• 학습된 최적화를 통해 사후 근사치의 반복적 개선을 허용함으로써 표준 VAE 추론 모델을 일반화하기 위해.
• 실제로 널리 사용되는 상향식 추론 기법들에 대해 이전에 부족했던 공식적인 이론적 근거를 제공하기 위해.
• 신경망을 통해 최적화 동역학을 학습함으로써 사후 추론의 계산 효율성과 수렴 속도를 향상시키기 위해.

제안 방법

• 이 방법은 ELBO의 사후 분포 매개수에 대한 기울기를 인코딩한 방식으로, 근사 사후 분포 매개수를 반복적으로 업데이트하는 신경망 기반 추론 모델을 사용한다.
• 이 방법은 다중 추론 단계를 허용함으로써 표준 VAE 추론을 일반화하며, 각 단계에서 학습된 업데이트 규칙을 사용해 사후 추정치를 개선한다.
• 추론 모델은 현재 데이터와 기울기 정보를 기반으로 사후 분포 매개수의 업데이트를 예측하여, 사후 추론을 위한 메타 최적화기를 효과적으로 학습한다.
• 이 방법의 변종은 기울기를 대신해 예측 오차를 인코딩하여 고차 도함수를 근사함으로써 실질적으로 더 빠른 수렴을 이룬다.
• 이 방법은 일차 및 계층적 잠재변수 모델 모두에 적용되며, 완전 연결 및 하이웨이 연결 레이어를 포함한 아키텍처를 사용한다.
• 학습 과정에서는 각 데이터 예제에 대해 다중 추론 반복을 수행하며, 반복 과정을 통해 역전파된 기울기를 통해 추론 모델과 생성 모델을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 반복적 추론 모델은 단일 전방 전파를 초과하는 사후 추정치의 개선을 통해 변분 오토인코더에서 암시적 경량화 갭을 메울 수 있는가?
• RQ2 사후 추론에서 반복 최적화를 학습하는 것이 이미지 및 텍스트 데이터셋에서 우도 및 재구성 성능을 향상시키는가?
• RQ3 제안된 방법은 실제로 사용되는 상향식 추론 기법들에 대해 이론적 근거를 제공할 수 있는가?
• RQ4 기울기 인코딩과 오차 인코딩 중 어느 것이 반복 추론에서 수렴 속도와 최종 성능에 더 큰 영향을 미치는가?
• RQ5 명시적인 곡률 모델링 없이도 비반복 최적화 모델이 기존 최적화기보다 사후 추론에서 승리할 수 있는가?

주요 결과

• 반복적 추론 모델은 MNIST, Omniglot, SVHN, CIFAR-10, RCV1에서 표준 추론 모델을 능가하여 더 높은 ELBO와 낮은 퍼플렉서티를 달성한다.
• RCV1 텍스트 데이터셋에서 반복 모델은 테스트 퍼플렉서티 108.5를 기록하여 표준 모델을 크게 능가했으며, 중요도 가중 기반 모델과의 격차를 줄였다.
• 일부 설정에서 기울기 인코딩보다 오차 인코딩을 사용한 최적화 단계가 더 빠른 수렴과 향상된 성능을 이끌었다.
• 일차 및 계층적 모델 모두에서 일관된 향상이 관찰되었으며, 재구성 품질과 우도 측면에서 모두 성과 향상이 있었다.
• 추론 반복 과정 동안 기울기 크기가 감소하여 안정된 사후 분포 추정치로의 효과적 수렴이 이루어졌음을 시사한다.
• 반복적 접근은 이미지 및 텍스트 벤치마크에서 최신 기술 수준의 성능을 달성하여 암시적 경량화 갭을 줄이는 데 효과적임을 입증했다.