[논문 리뷰] Posterior Projection for Inference in Constrained Spaces

Astfalck, Lachlan, Deborshee Sen외 3명|arXiv (Cornell University)|2018. 12. 14.

Statistical Methods and Inference참고 문헌 39인용 수 6

한 줄 요약

이 논문은 최소 거리 사상에 의한 비제약 사후 분포 표본을 제약된 매개수 공간에 투영하여 제약된 추론을 위한 통합 베이지안 프레임워크를 제안한다. 이는 투영된 사후 분포에 대한 Bernstein-von Mises 정리로 이론적 타당성을 확립하고, 특히 볼록 집합과 스티펠 맨포일드 제약 조건에서 정확한 신뢰구간을 제공하고 전통적인 제약된 사전분포보다 향상된 성능을 보임을 경험적으로 입증한다.

ABSTRACT

Estimation of parameters that obey specific constraints is crucial in statistics and machine learning; for example, when parameters are required to satisfy boundedness, monotonicity, or linear inequalities. Traditional approaches impose these constraints via constraint-specific transformations or by truncating the posterior distribution. Such methods often result in computational challenges, limited flexibility, and a lack of generality. We propose a generalized framework for constrained Bayesian inference by projecting the unconstrained posterior distribution into the space of the parameter constraints, providing a computationally efficient and easily implementable solution for a large class of problems. We rigorously establish the theoretical foundations of the projected posterior distribution, as well as providing asymptotic results for posterior consistency, posterior contraction, and optimal coverage properties. Our methodology is validated through both theoretical arguments and practical applications, including bounded-monotonic regression and emulation of a computer model with directional outputs.

연구 동기 및 목표

• 복볼록 집합과 스티펠 맨포일드와 같은 복잡한 제약된 매개수 공간에 직접 사전분포를 정의하는 데 발생하는 계산 및 모델링 과제를 해결하기 위해.
• 복잡한 사전분포 구성이 필요 없이 이론적으로 타당한 일반 목적의 제약된 공간 내에서의 베이지안 추론을 위한 방법을 제공하기 위해.
• 투영된 사후분포가 비제약 사후분포의 점근적 빈도주의 성질을 그대로 이어받는지, 특히 정확한 신뢰구간 커버리지가 유지되는지 확인하기 위해.
• 실제 적용 사례에서 편향을 줄이고 계산 가능성을 향상시키는 제약된 사전분포의 실용적 대안을 제공하기 위해.
• 특정 사례를 넘어서 복잡한 제약 조건, 특히 측도가 0인 다양체인 스티펠 맨포일드와 같은 광범위한 클래스로 후행 투영의 적용 가능성을 확장하기 위해.

제안 방법

• 최소 거리 사상에 기반한 후행 투영을 비제약 사후 표본을 제약된 집합으로 투영하는 베이지안 의사결정 이론적 절차로 정식화한다.
• 정규성 조건 하에 투영된 사후분포에 대한 Bernstein-von Mises 정리를 확립하여 점근적 정규성과 빈도주의 타당성을 보여준다.
• 매개수 공간의 닫힘과 볼록 부분집합, 그리고 직교 행렬 또는 단위 구를 나타내는 스티펠 맨포일드에 프레임워크를 적용한다.
• 볼록 집합에는 유클리드 투영을, 스티펠 맨포일드에는 지오데식 투영을 사용하여 이론적 일관성과 계산 가능성을 확보한다.
• 표준 MCMC 소프트웨어(예: Stan, PyMC3)를 사용해 비제약 사후분포에서 표본을 추출한 후, 샘플링 알고리즘을 수정하지 않고도 제약된 공간으로 표본을 투영한다.
• 실제 데이터 예제(예: 단조성 회귀, 연관표, 구면 매개수 공간)를 통해 방법을 시험하고, 게비스 샘플러와 제약된 사전분포와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 후행 투영이 제약된 매개수 공간에 직접 사전분포를 설정하는 데 이론적으로 타당하고 계산 가능할 수 있는 대안이 될 수 있는가?
• RQ2 투영된 사후분포가 비제약 사후분포의 점근적 빈도주의 성질을 유지하는가, 특히 정확한 신뢰구간 커버리지가 유지되는가?
• RQ3 제약된 사전분포를 사용하는 표준 베이지안 방법과 비교할 때 후행 투영은 편향과 추정 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 후행 투영 프레임워크는 비볼록이지만 저차원인 다양체, 예를 들어 스티펠 맨포일드로 확장될 수 있는가?
• RQ5 특히 사전분포가 희박하거나 꼬리가 두꺼운 경우, 사전분포 선택이 투영된 사후분포의 성능에 어떤 영향을 미치는가?

주요 결과

• 투영된 사후분포는 점근적으로 정확한 신뢰구간을 달성하며, 커버리지 확률이 명시된 수준과 일치한다(예: 연관표에서 90% 신뢰구간의 평균 커버리지 90.3%).
• 단조성 제약 조건 하에서 기울기 추정에서 투영된 사후분포는 직접 단조함수에 사전분포를 설정하는 전통적인 베이지안 방법보다 편향을 줄인다.
• 스티펠 맨포일드의 경우, 비제약 사전분포를 사용한 투영된 사후분포는 확률밀도함수(vMF) 제약 사전분포를 사용한 결과와 유사한 신뢰구간과 평균제곱오차를 제공한다. 이는 희박하거나 t-사전분포를 사용할 때에도 마찬가지다.
• 연관표 예제에서 게비스 샘플러는 90% 신뢰구간에 대해 평균 81.3%의 커버리지 확률을 보였지만, 투영된 사후분포는 90.3%의 커버리지 확률을 기록하여 더 뛰어난 빈도주의 성능을 보였다.
• 이론적 결과는 사후수축률과 점근적 정규성이 투영 후에도 유지됨을 확인하여, 이 방법의 통계적 일관성을 검증한다.
• 이 방법은 계산적으로 실용적이며 표준 MCMC 소프트웨어와 호환되어 복잡한 계층 모델에 제약 조건이 있는 경우에도 일상적으로 사용할 수 있다.