[논문 리뷰] HINT: Hierarchical Invertible Neural Transport for General and Sequential Bayesian inference.

Gianluca Detommaso, Jakob Kruse외 4명|arXiv (Cornell University)|2019. 05. 25.

Gaussian Processes and Bayesian Inference참고 문헌 10인용 수 4

한 줄 요약

HINT는 베이지안 추론에서 빠르고 기울기 없는 사후 샘플링을 가능하게 하는 계층적 역가능한 신경망 프레임워크를 소개한다. 사전분포와 공동 사후분포 사이에 Knothe-Rosenblatt 운반 맵을 구성함으로써, 오프라인 학습 후에는 어떤 관측값에 대해서도 즉각적인 사후 샘플링이 가능해지며, 모델 기울기나 해석적 사전분포가 필요로 하지 않아 일반적이고 순차적인 베이지안 추론에 매우 효과적이다.

ABSTRACT

In this paper, we introduce Hierarchical Invertible Neural Transport (HINT), an algorithm that merges Invertible Neural Networks and optimal transport to sample from a posterior distribution in a Bayesian framework. This method exploits a hierarchical architecture to construct a Knothe-Rosenblatt transport map between an arbitrary density and the joint density of hidden variables and observations. After training the map, samples from the posterior can be immediately recovered for any contingent observation. Any underlying model evaluation can be performed fully offline from training without the need of a model-gradient. Furthermore, no analytical evaluation of the prior is necessary, which makes HINT an ideal candidate for sequential Bayesian inference. We demonstrate the efficacy of HINT on two numerical experiments.

연구 동기 및 목표

• 복잡한 모델에서 기존의 베이지안 추론 방법의 계산 비효율성과 기울기 의존성 문제를 해결한다.
• 정규화 플로우와 변분 추론의 한계를 극복하여 모델 기울기가 필요 없이 정확한 사후 샘플링을 가능하게 한다.
• 학습과 추론을 분리하고 해석적 사전분포 평가를 피하는 방식으로 순차적 베이지안 추론을 지원하는 프레임워크를 개발한다.
• 학습 후 임의의 관측값에 대해 효율적인 사후 샘플링을 가능하게 하여 다양한 추론 작업 간 확장성과 재사용성을 확보한다.

제안 방법

• 숨겨진 변수와 관측값의 공동 밀도를 역가능한 신경망을 사용해 모델링하기 위해 계층적 아키텍처를 구성한다.
• 기본 밀도에서 공동 사후분포로의 이遍성이고 미분 가능한 변환을 정의하기 위해 Knothe-Rosenblatt 운반 맵을 활용한다.
• 기본 밀도를 목표인 공동 밀도와 일치시키는 likelihood 기반 목적함수를 사용해 역가능한 운반 맵을 학습한다.
• 네트워크의 역가능성을 활용해 학습 후 임의의 관측 데이터 포인트에 대해 직접적으로 사후분포에서 샘플을 추출한다.
• 모든 계산을 오프라인으로 수행함으로써 모델 평가를 추론에서 분리하여 런타임 기울기 계산을 피한다.
• 해석적 사전밀도 평가가 필요 없도록 오직 학습된 운반 맵에 의존하여 사후 추론을 수행한다.

실험 결과

연구 질문

• RQ1 계층적 역가능한 신경망 프레임워크는 모델 기울기가 필요 없이 빠르고 정확한 사후 샘플링을 가능하게 할 수 있는가?
• RQ2 Knothe-Rosenblatt 맵을 통한 최적 운반은 복잡한 베이지안 모델에서 사후 근사에 얼마나 기여하는가?
• RQ3 학습과 추론을 분리하고 관측치 간 재사용이 가능하게 함으로써 제안된 방법이 순차적 베이지안 추론을 지원할 수 있는가?
• RQ4 해석적 사전분포가 계산이 불가능하거나 존재하지 않는 상황에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 표준 정규화 플로우에 비해 계층적 구조가 사후 운반의 표현력과 일반화 능력을 향상시키는가?

주요 결과

• 단 한 번의 오프라인 학습 단계 후 HINT는 어떤 관측값에 대해서도 즉각적인 사후 샘플링을 가능하게 하여 추론 지연을 크게 감소시킨다.
• 추론 중 기울기 계산이 필요 없기 때문에 정확한 사후 근사가 가능하며, 실시간 또는 자원 제약이 있는 환경에 적합하다.
• 해석적 사전밀도 평가가 필요 없어, 계산이 어려운 사전분포를 가진 모델에까지 적용 범위를 넓힌다.
• 계층적 설계 덕분에 운반 맵의 표현력이 향상되어 복잡한 사후 구조를 효과적으로 모델링할 수 있다.
• 두 가지 수치 실험에서 프레임워크는 일반적이고 순차적인 베이지안 추론 작업 모두에 대해 뛰어난 성능을 보이며 타당성을 입증했다.