[논문 리뷰] Uniform Post Selection Inference for LAD Regression Models

Alexandre Belloni, Victor Chernozhukov외 1명|arXiv (Cornell University)|2013. 04. 01.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 고차원 희소 LAD 회귀 모형에서 회귀 계수에 대한 균일하게 타당한 신뢰 영역을 제안한다. 이는 post-ℓ1-패널티 또는 ℓ1-패널티를 적용한 LAD 회귀를 기반으로 한 도구 변수 LAD 추정량을 사용한다. 이 방법은 희소 모형 전반에 걸쳐 점점 정규성을 보장하며, p = 2일 때조차도 단순 오라클 기반 추론이 실패하는 문제를 해결한다.

ABSTRACT

We develop uniformly valid confidence regions for a regression coefficient in a high-dimensional sparse LAD (least absolute deviation or median) regression model. The setting is one where the number of regressors p could be large in comparison to the sample size n, but only s « n of them are needed to accurately describe the regression function. Our new methods are based on the instrumental LAD regression estimator that assembles the optimal estimating equation from either post ℓ- penalised LAD regression or ℓ1- penalised LAD regression. The estimating equation is immunised against non-regular estimation of nuisance part of the regression function, in the sense of Neyman. We establish that in a homoscedastic regression model, under certain conditions, the instrumental LAD regression estimator of the regression coefficient is asymptotically root-n normal uniformly with respect to the underlying sparse model. The resulting confidence regions are valid uniformly with respect to the underlying model. The new inference methods outperform the naive, 'oracle based' inference methods, which are known to be not uniformly valid- with coverage property failing to hold uniformly with respect the underlying model- even in the setting with p = 2. We also provide Monte-Carlo experiments which demonstrate that standard post-selection inference breaks down over large parts of the parameter space, and the proposed method does not.

연구 동기 및 목표

• 고차원 희소 LAD 회귀 모형에서 회귀 계수에 대한 균일하게 타당한 신뢰 영역을 개발하는 것.
• 고차원 환경에서 표준 후 선택 추론 방법의 붕괴 문제를 다루는 것.
• p ≫ n 조건 하에서도 희소 모형 전반에 걸쳐 추론의 타당성을 균일하게 보장하는 것.
• 부수적 회귀 함수의 비정규 추정에 대해 강건한 추정량을 구축하는 것.
• 오라클 기반 추론에 비해 뛰어난 성능을 보이며, 균일하게 커버리지 유지가 가능한지 확인하는 것.

제안 방법

• 최적의 추정 방정식을 기반으로 한 도구 변수 LAD 추정량을 사용한다.
• 후행 ℓ1-패널티 또는 ℓ1-패널티를 적용한 LAD 회귀를 통해 관련 회귀 변수를 선택하는 추정 방정식을 구성한다.
• Neyman의 면역화 원리를 활용해 부수적 성분의 비정규 추정에 대한 영향을 줄이기 위해 추정량을 설계한다.
• 등분산성 및 희소성 조건 하에서 추정량의 점점 정규성을 입증한다.
• 기초가 되는 희소 모형 공간 전반에 걸쳐 신뢰 영역의 균일한 타당성을 증명한다.
• 표준 후 선택 추론과의 성능 비교를 위해 몬테카를로 실험을 실시한다.

실험 결과

연구 질문

• RQ1 고차원 희소 LAD 모형에서 회귀 계수에 대해 균일하게 타당한 신뢰 영역을 구성할 수 있는가?
• RQ2 표준 후 선택 추론은 파arameter 공간 전반에 걸쳐 균일하게 붕괴되는가, 심지어 저차원 설정에서도 마찬가지인가?
• RQ3 LAD 회귀를 통한 도구 변수 추정이 계수 추정량의 균일한 점점 정규성을 보장할 수 있는가?
• RQ4 제안된 방법은 오라클 기반 추론에 비해 커버리지 정확도 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 부수적 회귀 함수의 비정규 추정에 대해 강건한가?

주요 결과

• 도구 변수 LAD 추정량은 등분산성 조건 하에서 희소 모형 공간 전반에 걸쳐 점점 루트-n 정규성을 확보한다.
• 이 추정량을 기반으로 한 신뢰 영역은 모든 기초 희소 모형에 대해 균일하게 타당하며, p = 2인 경우에도 마찬가지다.
• 몬테카를로 실험을 통해 표준 후 선택 추론이 파arameter 공간의 괄목할 만한 부분에서 붕괴됨을 확인했다.
• 일반적으로 사용되는 오라클 기반 추론 방법은 저차원 사례조차도 균일한 커버리지를 유지하지 못한다.
• 제안된 방법은 전체 파arameter 공간에서 정확한 커버리지를 유지하며, 단순 추론을 능가한다.
• 면역화 접근법이 부수적 성분의 비정규 추정 영향을 성공적으로 완화시켰다.