[논문 리뷰] Asymptotics of selective inference

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|2015. 01. 15.

Statistical Methods and Inference참고 문헌 11인용 수 5

한 줄 요약

이 논문은 이전의 정확한 방법을 고차원 설정으로 확장하여 비정규 오차 분포 하에서도 선택적 추론 절차의 渐近적 타당성을 확립한다. 미세한 정규성 조건 하에서, LASSO 경로 추론과 같은 애핀 선택 절차로부터 유도된 p-값이 균일분포(0,1)로 수렴함을 증명함으로써, 정규성 가정 없이도 渐近적 타당한 추론이 가능해진다.

ABSTRACT

In this paper, we seek to establish asymptotic results for selective inference procedures removing the assumption of Gaussianity. The class of selection procedures we consider are determined by affine inequalities, which we refer to as affine selection procedures. Examples of affine selection procedures include post-selection inference along the solution path of the LASSO, as well as post-selection inference after fitting the LASSO at a fixed value of the regularization parameter. We also consider some tests in penalized generalized linear models. Our method of proof adapts a method of Chatterjee (2005).

연구 동기 및 목표

• 기존 정확한 방법의 적용 범위를 제한하는 정규 오차 가정을 제거하기 위해.
• n < p 인 고차원 설정에서 애핀 선택 절차의 p-값의 渐近적 타당성을 확립하기 위해.
• 기존의 선택적 추론 프레임워크를 비정규 오차 분포 및 페널티 모형으로 일반화하기 위해.
• 정규성 없이도 LASSO 경로 선택 및 GLM에서의 공분산 검정과 같은 절차로부터 유도된 p-값을 이론적으로 정당화하기 위해.
• 표본 크기 n이 p에 대해 로그적일지라도, 예측변수의 수 p가 표본 크기 n과 함께 증가할 때도 渐近적 타당한 추론을 가능하게 하기 위해.

제안 방법

• 선형 부등식으로 정의된 애핀 선택 절차(예: LASSO의 활성집합 선택)에 초점을 맞춘다.
• Chatterjee(2005)의 방법을 응용하여 검정 통계량의 渐近적 분포 수렴을 증명한다.
• 원래의 p-값 함수 P에 대한 매끄러운 근사 $\widetilde{P}_\delta$ 를 사용하여 근사 오차를 제어한다.
• 집중 부등식과 모멘트 한계를 적용하여 근본가설 하에서 P의 기대값 수렴을 보인다.
• 표본 크기가 증가함에 따라 $P(y) \xrightarrow{d} \mathrm{Unif}(0,1)$ 가 성립하는 조건을 도출한다.
• 표본 크기 n, $\delta$, 모형 복잡도에 따라 영향을 받는 $\|\widetilde{P}_\delta - P\|_\infty$ 의 경계와 선택 간격의 꼬리 확률을 통한 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 정규 오차를 가정하지 않고도 선택적 추론의 p-값이 근본가설 하에서 균일분포로 수렴하는 조건은 무엇인가?
• RQ2 n < p 인 고차원 설정에서 선택적 추론의 渐近적 타당성이 확립될 수 있는가?
• RQ3 LASSO 경로 선택 또는 고정된 $\lambda$ 선택에서 유도된 p-값의 渐近적 행동은 오차 분포에 따라 어떻게 달라지는가?
• RQ4 페널티가 가해진 일반선형모형에서 피봇의 수렴을 위한 충분한 조건는 무엇인가?
• RQ5 고정된 $\lambda$ GLM 선택과 같은 비애핀 선택 절차로도 이 프레임워크를 확장할 수 있는가?

주요 결과

• 오차가 비정규일 경우에도 미세한 정규성 조건 하에서 선택적 추론에서 유도된 p-값 $P_j(y)$ 는 근본가설 하에서 $\mathrm{Unif}(0,1)$ 으로 수렴한다.
• n이 p에 대해 로그적 순서일 경우, 예를 들어 $n \sim \log p$ 일지라도, 일반적인 LASSO 기반 절차에서의 渐近적 타당성이 유지된다.
• 이 방법은 LASSO 해경로 추론과 정규화 매개변수 $\lambda$ 를 고정한 후의 추론에 모두 적용 가능하다.
• 비정규 오차 하에서도 일반선형모형에서의 공분산 검정 추론을 지원하는 프레임워크이다.
• 매끄러운 근사 $\widetilde{P}_\delta$ 와 근사 오차 및 꼬리 확률의 경계를 통해 수렴이 확립된다.
• 집중 부등식과 모멘트 한계를 사용하여 이론적 보장을 도출하였으며, 수렴 속도는 $\delta$, $n$, 모형 복잡도에 따라 명시적으로 결정된다.