[논문 리뷰] Confidence Intervals and Hypothesis Testing for High-Dimensional Regression

Adel Javanmard, Andrea Montanari|arXiv (Cornell University)|2013. 06. 13.

Gene expression and cancer classification참고 문헌 48인용 수 689

한 줄 요약

이 논문은 $ p > n $ 일 때조차도 점근적으로 타당한 신뢰구간과 p-값을 구축하기 위한 비편향화된 LASSO 방법을 제안한다. 정규화된 M-추정량의 편향을 비편향화 절차를 통해 수정함으로써, 설계 행렬에 대한 최소한의 가정 하에 거의 최적의 신뢰구간 폭과 검정력에 도달할 수 있으며, 고차원 설정에서 고전적 추론을 가능하게 한다.

ABSTRACT

Fitting high-dimensional statistical models often requires the use of non-linear parameter estimation procedures. As a consequence, it is generally impossible to obtain an exact characterization of the probability distribution of the parameter estimates. This in turn implies that it is extremely challenging to quantify the \emph{uncertainty} associated with a certain parameter estimate. Concretely, no commonly accepted procedure exists for computing classical measures of uncertainty and statistical significance as confidence intervals or $p$-values for these models. We consider here high-dimensional linear regression problem, and propose an efficient algorithm for constructing confidence intervals and $p$-values. The resulting confidence intervals have nearly optimal size. When testing for the null hypothesis that a certain parameter is vanishing, our method has nearly optimal power. Our approach is based on constructing a `de-biased' version of regularized M-estimators. The new construction improves over recent work in the field in that it does not assume a special structure on the design matrix. We test our method on synthetic data and a high-throughput genomic data set about riboflavin production rate.

연구 동기 및 목표

• 고차원 회귀 모델에서 $ p > n $ 일 때, 신뢰구간과 p-값과 같은 고전적 추론 도구의 부재를 해결하기 위해.
• 비선형적이고 편향된 추정량(예: LASSO)이 정확한 분포 특성화를 방해하는 근본적인 과제를 극복하기 위해.
• 설계 행렬에 특수한 구조가 필요하지 않은 계산적으로 효율적인 방법을 개발하여 타당한 빈도주의 추론을 제공하기 위해.
• 표준 고차원 일致 조건 하에서 거의 최적의 신뢰구간 크기와 검정력을 달성하기 위해.
• 이전 방법이 설계 행렬 $ \mathbf{X} $ 에 구조적 제약 조건이 필요로 하는 것보다 더 적은 가정으로 고차원 설정에서 통계적 추론을 가능하게 하기 위해.

제안 방법

• LASSO 최적화 문제의 이중 해를 사용하여 LASSO 추정량 $ \widehat{\theta}^n $ 을 보정함으로써 비편향 추정량 $ \widehat{\theta}^u $ 을 구성하기 위해.
• 설계의 상관관계 구조를 반영하기 위해 표본 그램 행렬 $ \widehat{\Sigma} = \mathbf{X}^T\mathbf{X}/n $ 의 역행렬을 이용하여 정밀도 행렬을 구성하기 위해.
• 비편향 추정량을 $ \widehat{\theta}^u = \widehat{\theta}^n + \frac{1}{n} \mathbf{X}^T (Y - \mathbf{X} \widehat{\theta}^n) $ 로 정의하며, 이는 $ \ell_1 $ 펜alties에 의해 유도된 편향을 보정하는 항이다.
• 이중 해에서 유도된 행렬 $ M $ 을 사용하여 비편향 추정량의 분산을 $ \widehat{\sigma}^2 [M \widehat{\Sigma} M^T]_{ii} $ 로 추정하기 위해.
• 비편향 추정량 $ \sqrt{n} (\widehat{\theta}^u_i - \theta_{0,i}) $ 의 점근적 정규성을 이용하여 표준 정규분포의 분위수를 사용해 개별 계수의 신뢰구간을 구성하기 위해.
• 비편향 추정량 기반의 z-통계량을 사용하여 가설 검정을 수행하고, 보너페리 보정을 통해 가족별 오류율(FWER)을 통제하기 위해.

실험 결과

연구 질문

• RQ1 비선형적 성격을 지닌 정규화된 추정량이 존재하는 고차원 회귀 모델에서 $ p > n $ 일 때, 타당한 신뢰구간과 p-값을 구성할 수 있는가?
• RQ2 제안된 비편향화된 LASSO 방법이 설계 행렬에 대한 최소한의 가정 하에 거의 최적의 신뢰구간 폭과 검정력을 달성하는가?
• RQ3 설계 행렬 $ \mathbf{X} $ 에 특수한 구조적 가정(예: 비일관성 또는 재표현 가능성)이 필요 없이 이 방법을 적용할 수 있는가?
• RQ4 소음과 예측 변수 간의 높은 상관관계가 존재하는 유한 표본에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 다중 검정 상황에서 가족별 오류율(FWER)이 명목 수준에서 통제되는가?

주요 결과

• 비편향화된 LASSO 추정량 $ \widehat{\theta}^u $ 는 평균 $ \theta_0 $ 과 분산 $ \sigma^2 (M \widehat{\Sigma} M^T)_{ii}/n $ 을 갖는 점근적 정규분포를 따르며, 이는 타당한 추론을 가능하게 한다.
• 이 방법은 거의 최적의 신뢰구간 크기를 달성하며, 폭이 $ \sigma \sqrt{\log p / n} $ 비례하게 되어 고차원 설정에서 최소최대율과 일치한다.
• 가족별 오류율(FWER)이 $ n \to \infty $ 일 때 명목 수준 $ \alpha $ 로 수렴하며, 약한 가정 하에서도 성립한다.
• 이 방법은 점차적으로 수준 $ \alpha $ 에서 FWER를 통제하며, $ \limsup_{n \to \infty} \text{FWER}(\widehat{T}^F, n) \leq 2(1 - \Phi(z_\alpha(\varepsilon) - \varepsilon)) $ 의 경계를 갖는다. 이 경계는 $ \varepsilon \to 0 $ 일 때 $ \alpha $ 로 수렴한다.
• 잡음 수준 $ \sigma $ 의 추정량 $ \widehat{\sigma} $ 는 일致 조건 하에서 일致하다: 표준 고차원 조건 하에서 $ |\widehat{\sigma}/\sigma - 1| \to 0 $ 이다.
• 이 방법은 [BKM14] 에서 제공한 실제 리보플라빈 생산 데이터셋과 합성 데이터셋 모두에서 검증되어 고차원 설정에서 실용성과 강건성을 입증하였다.