[논문 리뷰] Inference via low-dimensional couplings

Alessio Spantini, Daniele Bigoni외 1명|arXiv (Cornell University)|2017. 03. 17.

Markov Chains and Monte Carlo Methods참고 문헌 93인용 수 13

한 줄 요약

이 논문은 높은 차원의 비정규 모델에서 효율적인 베이지안 추론을 위해 희소성과 분해 가능성에 기반한 낮은 차원의 결합을 활용하는 프레임워크를 제안한다. 표적 분포의 마르코프 성질이 낮은 차원의 운반 맵을 구성할 수 있도록 함으로써, 확장 가능한 변분 추론을 가능하게 하고, 고전적인 제곱근 라우-퉁-스트리벨 스무딩 알고리즘을 비선형·비정규 상태공간 모델로 일반화한다.

ABSTRACT

We investigate the low-dimensional structure of deterministic transformations between random variables, i.e., transport maps between probability measures. In the context of statistics and machine learning, these transformations can be used to couple a tractable "reference" measure (e.g., a standard Gaussian) with a target measure of interest. Direct simulation from the desired measure can then be achieved by pushing forward reference samples through the map. Yet characterizing such a map---e.g., representing and evaluating it---grows challenging in high dimensions. The central contribution of this paper is to establish a link between the Markov properties of the target measure and the existence of low-dimensional couplings, induced by transport maps that are sparse and/or decomposable. Our analysis not only facilitates the construction of transformations in high-dimensional settings, but also suggests new inference methodologies for continuous non-Gaussian graphical models. For instance, in the context of nonlinear state-space models, we describe new variational algorithms for filtering, smoothing, and sequential parameter inference. These algorithms can be understood as the natural generalization---to the non-Gaussian case---of the square-root Rauch-Tung-Striebel Gaussian smoother.

연구 동기 및 목표

• 베이지안 추론에서 고차원 운반 맵의 표현 및 평가가 계산적으로 불가능한 문제를 해결한다.
• 표적 분포의 조건부 독립 구조(마르코프 성질)를 활용하여 낮은 차원의 결합을 가능하게 한다.
• 비선형·비정규 상태공간 모델에 대해 동시 상태 및 파라미터 추정을 수행할 수 있는 확장 가능한 변분 추론 알고리즘을 개발한다.
• 운반 맵를 사용하여 고전적인 정규 스무딩 알고리즘(예: RTS 스무딩기)을 비정규 영역으로 일반화한다.
• 희소성과 분해 가능성을 갖춘 운반 맵를 구성하기 위한 이론적 및 알고리즘적 기초를 제공한다. 이는 표현 및 계산 비용을 감소시킨다.

제안 방법

• 각 성분이 이전 변수의 부분집합에만 의존하는 삼각 운반 맵을 기본 구성 요소로 사용한다.
• 표적 분포의 마르코프 블랭킷 구조와 성분 간 의존성 구조를 연결함으로써 운반 맵의 희소성을 활용한다.
• 낮은 차원의 맵의 복합체로 구성된 분해 가능 운반 맵을 도입함으로써, 순차적이고 모듈화된 구성이 가능해진다.
• 이러한 맵를 사용하여 필터링, 스무딩 및 순차적 파라미터 추정을 위한 변분 추론 알고리즘을 수립한다.
• 순차적이고 고정점 방식으로 회귀 기반 학습을 적용하여 성분 맵를 효율적으로 추정한다.
• 표준 정규 분포에서 유도된 기준 샘플을 사용하여 학습된 운반 맵를 통해 푸시-포워드 방식으로 표적 분포 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 표적 분포의 마르코프 성질이 낮은 차원 운반 맵의 존재를 보장할 수 있는가?
• RQ2 모델의 조건부 독립 구조에서 어떻게 운반 맵의 희소성과 분해 가능성을 체계적으로 유도할 수 있는가?
• RQ3 운반 맵를 사용하여 정규 스무딩 알고리즘을 비선형·비정규 상태공간 모델로 얼마나 일반화할 수 있는가?
• RQ4 추론에서 선형 운반 맵와 비선형 운반 맵를 사용할 경우, 계산 효율성과 정확성 사이의 상호 상충 관계는 어떠한가?
• RQ5 고차원 설정에서 낮은 차원의 결합을 활용하여 동시 상태 및 파라미터 추론을 어떻게 효율적으로 수행할 수 있는가?

주요 결과

• 표적 분포의 마르코프 성질은 희소성과/또는 분해 가능성을 갖춘 운반 맵의 존재를 암시하며, 이는 낮은 차원의 결합을 가능하게 한다.
• 성분 의존성 구조를 표적 분포의 마르코프 블랭킷에 맞추어 구성함으로써, 삼각 운반 맵의 희소성 구조를 확립할 수 있으며, 이는 계산 복잡도를 크게 감소시킨다.
• 분해 가능 운반 맵는 낮은 차원의 변환을 사용하여 고차원 결합을 순차적이고 모듈화된 방식으로 구성할 수 있도록 한다.
• 제안된 필터링 및 스무딩을 위한 변분 알고리즘은 제곱근 라우-퉁-스트리벨 스무딩기의 비선형·비정규 버전으로 일반화된다.
• 선형 운반 맵는 스무딩 작업에서 정확도 손실이 미미한 수준에서 상당한 속도 향상을 이룬다. 그러나 정적 파라미터 추론에서 복잡한 파라미터 주변분포를 포착하지 못한다.
• 긴 시간 스무딩 및 정적 파라미터 추론과 같은 도전적인 문제에서는 선형 근사가 부적절하므로, 비선형·고차원 맵가 정확한 추론을 위해 필수적이다.