[논문 리뷰] Bayesian Post-Selection Inference in the Linear Model

Snigdha Panigrahi, Jonathan Taylor외 1명|arXiv (Cornell University)|2016. 05. 28.

Statistical Methods and Bayesian Inference참고 문헌 6인용 수 9

한 줄 요약

이 논문은 선형 모델에서 모델 선택 이후 추론을 위한 베이지안 프레임워크를 개발한다. 이는 선택된 모델를 반영하는 조건부 우도를 갖는 사전분포와 결합된 방법으로, 비가역적인 조건부 우도를 계산 가능하게 하기 위해 볼록 근사법을 사용한다. 이 방법은 가설 검정을 넘어서 점 추정 등 다양한 추론을 가능하게 하며, 정확한 모델 선택 후 추론 방법과 유사하면서도 계산적으로 타당한 성능을 보인다.

ABSTRACT

We provide Bayesian inference for a linear model selected after observing the data. Adopting \citet{yekutieli2012adjusted}'s ideas, the Bayesian model consists of a prior and a truncated likelihood. The resulting posterior distribution, unlike in the setup usually considered when performing Bayesian variable selection, is affected by the very fact that selection was applied. After proposing an extension of \citeauthor{yekutieli2012adjusted}'s framework to the case of variable selection, we turn to face the computational challenges associated with the adjusted posterior distribution. A major objection is the intractability of the truncated likelihood. At the core of our methods is a convex approximation to the truncated likelihood, which facilitates sampling from the (approximate) adjusted posterior distribution. We demonstrate in simulations that employing the proposed approximation results in Bayesian procedures that are qualitatively similar to those using the exact truncated likelihood. Our methods are discussed in the context of recent literature on exact post-selection inference after model selection. These recent works focus on hypothesis testing, and capitalize on reductions achieved by conditioning out nuisance parameters. However, the techniques developed in that venue are generally less appropriate for addressing other questions, like point estimation. On the other hand, relying on an approximation to the full truncated likelihood, the tools we develop allow for more versatility. For example, replacing the genuine truncated likelihood by its approximation, we can approximate the maximum-likelihood estimate as the MAP estimate corresponding to a constant prior. We provide more examples in which our approximation can be employed to address frequentist questions that have not been resolved in existing work on exact post-selection inference.

연구 동기 및 목표

• 모델 선택이 데이터 기반으로 이루어질 경우 발생하는 선택 유도 편향으로 인해 전통적 방법이 실패하는 상황에서 유효한 베이지안 추론을 수행하는 데 도전한다.
• 예쿠티엘리와 벤자민리(2012)의 조정된 우도 프레임워크를 베이지안 설정으로 확장하여 선택 효과를 사후분포에 통합한다.
• 모델 선택 후 베이지안 추론에서 비가역적인 조건부 우도의 계산 불가능성을 볼록 근사 방법을 통해 극복한다.
• 기존 정확한 추론 방법의 범위를 넘어서 점 추정 및 빈도주의 기반 절차와 같은 더 넓은 적용 가능성을 갖춘 모델 선택 후 추론을 가능하게 한다.

제안 방법

• 논문은 모델 선택이 발생했음을 반영하는 사전분포와 조건부 우도를 사용하여 베이지안 모델을 구축한다. 이는 사후분포가 선택 편향을 반영하도록 보장한다.
• 비가역적인 조건부 우도를 위한 볼록 근사를 도입하여, 근사 조정 사후분포에서의 효율적 샘플링을 가능하게 한다.
• 이 근사는 균일 사전분포 하에서 최대우도추정치가 최대사후밀도추정치(MAP)로 복원될 수 있도록 하여, 베이지안과 빈도주의 추론을 연결한다.
• 정확한 조건부 우도 대신 볼록 근사를 사용함으로써 추정 및 신뢰구간 구성과 같은 민감한 추론 작업을 유연하게 지원한다.
• 샘플링은 MCMC 또는 기타 몬테카를로 방법을 사용하며, 근사법 덕분에 계산 가능성이 확보된다.
• 모의 실험을 통해 정확한 조건부 우도 방법과 유사한 결과를 보여 정확한 추론 방법의 실용적 유용성을 확인한다.

실험 결과

연구 질문

• RQ1 데이터 기반으로 모델이 선택된 경우, 어떻게 베이지안 추론을 적절히 校정할 수 있는가?
• RQ2 조건부 우도의 볼록 근사는 선형 모델에서 계산 가능하고 통계적으로 타당한 모델 선택 후 추론을 가능하게 하는가?
• RQ3 제안된 근사는 정확한 모델 선택 후 추론의 성질을 어느 정도 유지하는가, 특히 점 추정에 있어서?
• RQ4 이번에 개발된 베이지안 프레임워크는 가설 검정을 넘어서 추정 및 신뢰구간 구성과 같은 추론 작업을 지원할 수 있는가?
• RQ5 유한 표본에서 근사 사후분포의 성능은 정확한 조건부 사후분포와 비교해 어떻게 되는가?

주요 결과

• 조건부 우도의 볼록 근사는 조정 사후분포에서의 효율적 샘플링을 가능하게 하여, 베이지안 모델 선택 후 추론의 계산 가능성을 확보한다.
• 모의 실험 결과, 근사 사후분포는 정확한 조건부 우도 방법으로부터 유사한 결과를 도출함을 보였다.
• 이 방법은 균일 사전분포 하에서 최대우도추정치를 최대사후밀도추정치(MAP)로 해석할 수 있도록 하여, 베이지안과 빈도주의 추론을 연결한다.
• 기존 정확한 모델 선택 후 추론 방법이 주로 가설 검정에 국한되어 있는 것과 달리, 본 프레임워크는 더 넓은 추론 작업 범위를 지원한다.
• 점 추정 및 신뢰구간 구성과 같은 문제에 적용 가능한 다용도 도구를 제공하며, 현재 정확한 추론 프레임워크에서 여전히 도전적인 과제로 남아 있는 분야에 유용하다.