[논문 리뷰] Greedy inference with structure-exploiting lazy maps

Brennan, Michael C., Daniele Bigoni외 3명|arXiv (Cornell University)|2019. 05. 31.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 14

한 줄 요약

이 논문은 높은 차원의 베이지안 추론을 위한 탐욕적이고 구조를 고려하는 프레임워크를 제안한다. 이는 최대 사후 불일치 방향에 집중하는 저질서 운반 맵을 사용한다. 로그 소볼레프 부등식을 통해 KL 발산의 상한을 최소화함으로써, 정보가 많은 저차원 부분공간을 식별하고, 게으른 맵을 반복적으로 조합함으로써 사후분포로의 약한 수렴을 달성하며, 다항식 및 역자기회귀 흐름을 사용하여 기계학습 및 PDE 역문제에서 더 높은 정확도를 보여준다.

ABSTRACT

We propose a framework for solving high-dimensional Bayesian inference problems using \emph{structure-exploiting} low-dimensional transport maps or flows. These maps are confined to a low-dimensional subspace (hence, lazy), and the subspace is identified by minimizing an upper bound on the Kullback--Leibler divergence (hence, structured). Our framework provides a principled way of identifying and exploiting low-dimensional structure in an inference problem. It focuses the expressiveness of a transport map along the directions of most significant discrepancy from the posterior, and can be used to build deep compositions of lazy maps, where low-dimensional projections of the parameters are iteratively transformed to match the posterior. We prove weak convergence of the generated sequence of distributions to the posterior, and we demonstrate the benefits of the framework on challenging inference problems in machine learning and differential equations, using inverse autoregressive flows and polynomial maps as examples of the underlying density estimators.

연구 동기 및 목표

• 운반 맵 기반의 베이지안 추론에서 차원의 극복 문제를 해결하기 위해 고차원 사후분포의 저차원 구조를 활용한다.
• KL 발산 상한을 사용하여 운반 맵 근사에 가장 정보가 많은 저차원 부분공간을 체계적으로 식별하는 원리적인 방법을 개발한다.
• 현재 근사와 진짜 사후분포 사이의 잔여 불일치를 적응적으로 타겟으로 삼는 효율적인 순차적 조합이 가능한 게으른 운반 맵을 가능하게 한다.
• 합리적인 가정 하에 탐욕적 반복 맵 조합이 목표 사후분포로의 약한 수렴을 보임을 증명한다.
• 기계학습 및 PDE 제약 조건이 있는 역문제에서 도전적인 문제들에 대해 더 높은 추론 정확도와 효율성을 보여준다.

제안 방법

• 논문은 로그 소볼레프 부등식에서 유도된, 목표 사후분포와 그 근사 간의 KL 발산 상한을 최소화함으로써 저차원 부분공간을 식별한다.
• 선택된 맵 클래스(예: 삼각형 다항식 맵 또는 역자기회귀 흐름 등)를 사용하여 이 부분공간에 국한된 운반 맵(즉, '게으른 맵')을 구성한다.
• 프레임워크는 탐욕적 조합을 적용한다: 각 단계에서 현재 근사와 목표 사후분포 사이의 잔여 분포를 대상으로 새로운 게으른 맵을 훈련시킨다.
• 기본 측도(예: 표준 정규분포)에 대한 기대값의 몬테카를로 근사(예: $ m = 100 $개 샘플)를 사용하여 기울기를 계산하고 맵을 갱신한다.
• 이 방법은 반복적인 정밀화를 지원하며, 각 새로운 맵 레이어는 잔여 불일치를 기반으로 훈련되어 근사 품질이 점진적으로 향상된다.
• 약한 정규성 조건 하에 이론적으로 수렴성을 확립하여, 푸시포워드의 수열이 진짜 사후분포로의 약한 수렴을 보임을 증명한다.

실험 결과

연구 질문

• RQ1 고차원 사후분포에서 사전분포와의 가장 큰 불일치를 반영하는 저차원 부분공간을 식별할 수 있는가? 이를 통해 효율적인 운반 맵 구축이 가능할까?
• RQ2 KL 발산 상한을 체계적으로 최소화하여 운반 맵의 정보가 많은 부분공간 선택을 유도할 수 있는가?
• RQ3 저질서 운반 맵의 탐욕적이고 계층적인 조합이 진짜 사후분포로의 약한 수렴을 이루는가?
• RQ4 이 프레임워크는 계산 비용을 줄이며 고차원 추론 과제에서 표준 정규화 흐름보다 우수한 성능을 보일 수 있는가?
• RQ5 예를 들어 캔틸레버 빔의 재료 특성 추정과 같은 PDE를 포함하는 도전적인 역문제에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 표준 정규성 가정 하에 탐욕적 운반 맵 수열이 진짜 사후분포로의 약한 수렴을 달성한다.
• 유연률 추정 문제에서, 이 방법은 다섯 구간으로 나뉜 빔의 진짜 값들을 정확히 복원하며, 그림 10(c)에 나타나 있듯이 사후 마진 분포가 진짜 값과 매우 유사하다.
• 그림 11(b)에 나타난 사후 예측 불일치는 모델이 생성한 관측치가 관측된 데이터와 일치함을 확인하며, 좋은 校정성(캘리브레이션)을 보여준다.
• MCMC 검증 체인은 수용률 68.3%를 기록했으며, 유효 샘플 수는 7.0%에서 38.7% 사이로, 사후 근사가 잘 校정되어 있음을 확인한다.
• 차수 3의 다항식 흐름을 사용한 랭크-2 게으른 맵은 높은 정확도를 달성하였으며, 이는 중간 수준의 고차원 문제에서도 저차원 구조를 효과적으로 활용할 수 있음을 보여준다.
• 탐욕적 조합 전략은 특히 고차원 매개변수 공간에서 복잡한 사후 의존성을 포착하는 데 있어 기준 방법보다 최종 정확도를 향상시켰다.