[논문 리뷰] Pliable Methods for Post-Selection Inference Under Convex Constraints

Snigdha Panigrahi, Jonathan Taylor외 1명|arXiv (Cornell University)|2016. 05. 28.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 선형 모델에서 볼록 제약 조건 하에 모델 선택 후 추론을 위한 유연한 베이지안 프레임워크를 제안한다. 이는 모델 선택 조건 하에서의 정확한 가능도를 구하는 데 어려움을 겪는 문제를 해결하기 위해 새로운 근사 방법을 사용한다. 이 방법은 渐近적으로 일관되며, 새로운 데이터가 도착할 때 실시간으로 적응 가능한 실용적인 추론을 가능하게 한다. 시뮬레이션과 HIV 항바이러스 저항성 분석을 통해 성능을 입증하였다.

ABSTRACT

Inference after model selection has been an active research topic in the past few years, with numerous works offering different approaches to addressing the perils of the reuse of data. In particular, major progress has been made recently on large and useful classes of problems by harnessing general theory of hypothesis testing in exponential families, but these methods have their limitations. Perhaps most immediate is the gap between theory and practice: implementing the exact theoretical prescription in realistic situations---for example, when new data arrives and inference needs to be adjusted accordingly---may be a prohibitive task. In this paper we propose a Bayesian framework for carrying out inference after model selection in the linear model. Our framework is very flexible in the sense that it naturally accommodates different models for the data, instead of requiring a case-by-case treatment. At the core of our methods is a new approximation to the exact likelihood conditional on selection, the latter being generally intractable. We prove that, under appropriate conditions, our approximation is asymptotically consistent with the exact truncated likelihood. The advantages of our methods in practical data analysis are demonstrated in simulations and in application to HIV drug-resistance data.

연구 동기 및 목표

• 이론적 모델 선택 후 추론 방법과 실무적 구현 간 격차를 해소하기 위해 동적인 데이터 환경에서의 적용 가능성을 확보한다.
• 모델에 따라 수기 조정이 필요 없는 다양한 데이터 모델을 수용할 수 있는 탄력적인 프레임워크를 개발한다.
• 모델 선택 조건 하에서 정확한 절단 가능도를 계산하기 위한 계산적으로 실현 가능한 근사 방법을 제공한다.
• 제안된 근사 방법이 진정한 조건부 가능도와 渐近적으로 일관되도록 보장한다.
• 시뮬레이션과 실제 응용 사례인 HIV 항바이러스 저항성 데이터 분석을 통해 실용적 유용성을 입증한다.

제안 방법

• 선형 모델에서 볼록 제약 조건이 존재하는 상황에서 모델 선택 후 추론을 위해 베이지안 접근법을 사용한다.
• 선택된 모델 조건 하에서 계산이 불가능한 정확한 가능도에 대한 새로운 근사 방법을 도입한다.
• 이 근사 방법은 정규 조건 하에서 진정한 절단 가능도와 渐近적으로 일관되도록 설계되어 있다.
• 새로운 데이터가 도착할 경우 순차적 업데이트가 가능하여 실시간 추론을 지원한다.
• 이 방법은 다양한 데이터 모델이나 제약 조건에 대해 재설계가 필요 없이 일반적으로 적용 가능하다.
• 설계와 모델 선택에 대한 적절한 정규 조건 하에서 이론적 보장이 확립되어 있다.

실험 결과

연구 질문

• RQ1 볼록 제약 조건이 존재하는 상황에서 모델 선택 후 추론을 어떻게 이론적으로 타당하고 실무적으로 구현 가능하게 만들 수 있는가?
• RQ2 다양한 모델에 대해 개별적으로 처리가 필요 없는 일반 목적의 베이지안 프레임워크를 개발할 수 있는가?
• RQ3 계산적으로 실현 가능하면서도 渐近적으로 일관된 조건부 가능도 근사는 무엇인가?
• RQ4 시간이 지남에 따라 새로운 관측치가 지속적으로 도착하는 순차적 데이터 환경에서 이 방법의 성능은 어떠한가?
• RQ5 HIV 항바이러스 저항성 분석과 같은 실제 응용 사례에서 이 방법의 경험적 성능은 어떠한가?

주요 결과

• 제안된 가능도 근사 방법은 정규 조건 하에서 정확한 절단 가능도와 渐近적으로 일관된다.
• 이 프레임워크는 새로운 데이터가 도착하고 모델 선택을 갱신해야 하는 동적 환경에서도 실용적인 추론을 가능하게 한다.
• 시뮬레이션 결과, 이 방법은 모델 선택 후 신뢰구간에 대해 적절한 빈도주의 커버리지 성질을 유지한다.
• 모델별 특화 조정 없이도 다양한 데이터 모델에서 강인한 성능을 보였다.
• HIV 항바이러스 저항성 응용 사례에서, 선택된 유전자 변이에 대해 해석 가능하고 신뢰할 수 있는 추론 결과를 도출하였다.
• 베이지안 프레임워크는 볼록 제약 조건 하에서 모델 선택 후 추론에 대해 탄력적이고 확장 가능한 해결책을 제공한다.