[논문 리뷰] Approximating exponential family models (not single distributions) with a two-network architecture

Sean R. Bittner, John P. Cunningham|arXiv (Cornell University)|2019. 03. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 5

한 줄 요약

이 논문은 자연 매개변수를 신경망을 통해 매개변수화함으로써 비가역적인 지수족 모형 전체를 근사하는 데 목적이 있는 지수족 네트워크(Exponential Family Network, EFN)를 소개한다. EFN은 단일 분포가 아니라 모형 가족 전체를 학습하며, 직접 룩업을 통한 즉각적인 사후분포 추론을 가능하게 하여, 여러 데이터셋에 걸쳐 사후분포를 추론할 때 기존 변분 추론보다 상당한 계산량 절감을 이룬다.

ABSTRACT

Recently much attention has been paid to deep generative models, since they have been used to great success for variational inference, generation of complex data types, and more. In most all of these settings, the goal has been to find a particular member of that model family: optimized parameters index a distribution that is close (via a divergence or classification metric) to a target distribution. Much less attention, however, has been paid to the problem of learning a model itself. Here we introduce a two-network architecture and optimization procedure for learning intractable exponential family models (not a single distribution from those models). These exponential families are learned accurately, allowing operations like posterior inference to be executed directly and generically with an input choice of natural parameters, rather than performing inference via optimization for each particular distribution within that model.

연구 동기 및 목표

• 기존의 딥 제너레이티브 모델이 모형 가족의 단일 분포만 학습하는 데에 한계가 있다는 점을 해결하기 위해.
• 비가역적인 지수족 모형의 제한된, 계산 가능한 근사 모델을 학습하여 도메인 특화된 구조를 유지하는 방법을 개발하기 위해.
• 자연 매개변수를 입력으로 받아 사후분포를 직접 룩업할 수 있도록 한 단일 모델을 훈련시켜, 여러 데이터셋에 걸쳐 암시적 추론을 가능하게 하기 위해.
• 신경 회로 자극 기록 분석과 같은 실제 응용 분야에서 반복적인 추론이 요구되는 상황에서 계산적 이점들을 입증하기 위해.

제안 방법

• EFN 아키텍처는 두 개의 딥 네트워크를 사용한다: 자연 매개변수를 모형 매개변수로 매핑하는 매개변수 네트워크와, 해당 분포에서 샘플을 생성하는 밀도 네트워크.
• 학습은 목표 지수족 모형과 학습된 모형 간의 Kullback-Leibler 발산의 변종을 최소화하는 스토하스틱 최적화를 통해 수행된다.
• 매개변수 네트워크는 모형의 매개변수 공간이 목표 지수족의 자연 매개변수화와 일치하도록 보장하여 올바른 차원수와 구조를 유지한다.
• 많은 진짜 사후분포가 지수족임을 고려하여, EFN은 다양한 데이터셋에 일반화 가능한 일반적인 사후분포 근사 모델을 학습할 수 있다.
• 학습 후 단일 순방향 전파로도 추론이 가능해지므로, 기존의 데이터셋 별로 추론을 수행하는 방식이 아니라, 모델 별로 암시적 추론을 수행할 수 있다.
• 신경 회로 자극 데이터에서 검증되었으며, 이는 로그-가우시안 포아송 과정의 사후분포 가족을 학습한다.

실험 결과

연구 질문

• RQ1 딥 제너레이티브 모델이 단일 멤버가 아니라 전체 지수족 분포를 근사하도록 훈련시킬 수 있는가?
• RQ2 이중 네트워크 아키텍처를 통해 제한된 모델 클래스를 학습하면, 정규화 플로우를 사용한 표준 변분 추론보다 더 나은 사후분포 근사 결과를 얻을 수 있는가?
• RQ3 새로운 데이터셋에 대해 자연 매개변수를 단순히 입력으로 제공하기만 하면 EFN 아키텍처가 즉각적인 사후분포 추론을 가능하게 할 수 있는가?
• RQ4 EFN을 한 번 훈련하는 것과 각 데이터셋마다 별도로 변분 추론을 수행하는 것 사이의 계산적 트레이드오프는 어떠한가?
• RQ5 제한된 모델 공간의 인덕티브 바이어스 덕분에, 표준 정규화 플로우보다 더 높은 ELBO 값을 EFN이 달성할 수 있는가?

주요 결과

• 신경 회로 자극 데이터에서의 시각적 및 정량적 비교를 통해, EFN은 정규화 플로우와 유사한 수준의 높은 품질의 사후분포 근사 결과를 도출한다.
• 주어진 ELBO 목표에서 EFN은 데이터셋 수가 결정 경계를 초과하면 표준 변분 추론보다 계산적으로 더 효율적이며, 이후 추가 데이터셋마다 무한한 계산 절감 효과를 제공한다.
• 어떤 경우에서는 정규화 플로우보다 더 높은 평균 ELBO를 달성함으로써, 제한된 구조적 모델 공간에서 학습함으로써 얻는 이점이 입증되었다.
• 정규화 플로우를 훈련시키는 것보다 EFN을 훈련시키는 데 더 오랜 시간이 걸리지만, 이 시간은 향후 모든 추론 작업에 분할되어 대규모 환경에서 매우 효율적이게 된다.
• 학습 후에는 최적화 없이도 직접 룩업을 통해 즉각적인 사후분포 추론이 가능하여, 데이터셋 별로 추론을 수행할 때의 추론 시간을 크게 감소시킨다.
• 이 방법은 신경과학을 넘어서도 일반화 가능하며, 비가역적인 지수족 사후분포를 포함하는 모든 응용 분야에서 사전 훈련된 EFN을 사용해 신속한 사후분포 추론을 수행할 수 있다.