[논문 리뷰] Constrained Bayesian Inference through Posterior Projections

Sayan Patra, David B. Dunson|arXiv (Cornell University)|2018. 12. 14.

Statistical Methods and Inference참고 문헌 36인용 수 11

한 줄 요약

이 논문은 후행 분포의 사영을 통한 제약 조건이 있는 베이지안 추론을 위한 일반적 프레임워크를 제안한다. 여기서 비제약 조건이 부여된 사후 분포로부터의 샘플은 최소 거리 사영을 통해 제약 조건이 있는 매개변수 공간으로 사영된다. 이 방법은 특정 조건 하에서 사영된 사후 분포가 유효한 베이지안 사후 분포임을 보장하며, 점근적 빈도주의 성질을 유지하여 복잡한 제약 조건이 있는 모형, 특히 무한차원 함수 공간에서도 다루기 쉬운 추론을 가능하게 한다.

ABSTRACT

In a broad variety of settings, prior information takes the form of parameter restrictions. Bayesian approaches are appealing in parameter constrained problems in allowing a probabilistic characterization of uncertainty in finite samples, while providing a computational machinery for incorporation of complex constraints in hierarchical models. However, the usual Bayesian strategy of directly placing a prior measure on the constrained space, and then conducting posterior computation with Markov chain Monte Carlo algorithms is often intractable. An alternative is to initially conduct computation for an unconstrained or less constrained posterior, and then project draws from this initial posterior to the constrained space through a minimal distance mapping. This approach has been successful in monotone function estimation but has not been considered in broader settings. In this article, we develop a general theory to justify posterior projections in general spaces including for infinite-dimensional functional parameters. For tractability, we initially focus on the case in which the constrained parameter space corresponds to a closed, convex subset of the original space. A special class of non-convex sets called Stiefel manifolds is explored later in the paper. We provide a general formulation of the projected posterior and show that it corresponds to a valid posterior distribution on the constrained space for particular classes of priors and likelihood functions. We also show how asymptotic properties of the unconstrained posterior are transferred to the projected posterior. Posterior projections are then illustrated through multiple examples, both in simulation studies and real data applications.

연구 동기 및 목표

• 제약 조건이 있는 매개변수 공간에서 직접적인 베이지안 계산이 불가능한 문제를 해결하기 위해, 특히 고차원 또는 무한차원 설정에서의 문제를 다루는 것.
• 단조 함수 추정을 넘어서 사용 가능한 일반적인 이론적 기반을 마련하여 사후 분포 사영의 타당성을 뒷받침하는 것.
• 특정 종류의 사전 분포와 우도 함수 하에서 사영된 사후 분포가 유효한 베이지안 사후 분포임을 보여주는 것.
• 사영된 사후 분포의 점근적 빈도주의 성질을 확립하여 일관성과 효율성을 보장하는 것.
• 비볼록 집합, 예를 들어 스티펠 매니폴드에까지 이 프레임워크를 확장하여 적용 범위를 넓히는 것.

제안 방법

• 일般적으로 L2 사영을 사용하여 비제약 조건이 있는 사후 분포에서의 샘플을 제약 조건이 있는 매개변수 공간으로 사영하는 것.
• 사영 지ap을 통한 사후 분포의 사전 분포를 사영 지도 아래의 사후 분포로 정의하는 것.
• 특히 제약 조건 집합이 닫혀 있고 볼록일 경우, 사영된 사후 분포가 제약 조건 공간에서 유효한 사후 분포에 해당하는 조건을 설정하는 것.
• 함수 해석학적 도구를 사용하여 이 프레임워크를 함수 공간과 같은 무한차원 매개변수 공간으로 확장하는 것.
• 사영된 사후 분포의 점근적 행동을 분석하여, 비제약 조건 사후 분포로부터 일관성과 집중 성질을 그대로 이어받음을 보여주는 것.
• 모의 실험과 실제 데이터에 이 방법을 적용하여 실용성과 강건성을 입증하는 것.

실험 결과

연구 질문

• RQ1 언제 사후 분포 사영이 제약 조건이 있는 매개변수 공간에서 유효한 베이지안 사후 분포를 생성하는가?
• RQ2 비제약 조건 사후 분포의 점근적 성질이 사영된 사후 분포로 어떻게 전이되는가?
• RQ3 스틸펠 매니폴드와 같은 비볼록 제약 조건 집합으로까지 사후 분포 사영 프레임워크를 확장할 수 있는가?
• RQ4 제약 조건이 있는 베이지안 추론에서 최소 거리 사영을 사용하는 이론적 근거는 무엇인가?
• RQ5 유한 표본에서 사영된 사후 분포는 직접적인 제약 조건이 있는 계산과 비교해 어떻게 성능을 보이는가?

주요 결과

• 제약 조건 집합이 닫혀 있고 볼록이며, 사전 및 우도에 대해 약간의 정규성 조건이 만족되면 사영된 사후 분포는 유효한 베이지안 사후 분포가 된다.
• 정규성 조건 하에서 이 방법은 비제약 조건 사후 분포의 점근적 집중 및 일관성 성질을 유지한다.
• 이 프레임워크는 무한차원 함수 공간으로까지 확장되어 비모수 모형에서의 제약 조건이 있는 추론을 가능하게 한다.
• 스틸펠 매니폴드의 경우, 사영된 사후 분포는 바람직한 빈도주의 성질을 유지하여 광범위한 적용 가능성을 보여준다.
• 모의 실험과 실제 데이터 연구를 통해 이 방법이 복잡한 고차원 설정에서 실용적이고 강건함을 확인하였다.
• 이 접근법은 제약 조건이 있는 공간에서 직접적인 사후 분포 계산의 비가용성 문제를 피하며, 확장 가능한 대안을 제공한다.