[논문 리뷰] De-Biasing The Lasso With Degrees-of-Freedom Adjustment

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|2019. 02. 24.

Statistical Methods and Inference참고 문헌 39인용 수 19

한 줄 요약

이 논문은 고차원 선형 회귀에서 Lasso의 계수 벡터의 저차원 투영에 대한 타당한 통계적 추론을 가능하게 하기 위해 자유도 조정을 고려한 de-biasing 방법을 제안한다. Lasso가 선택한 모형의 복잡도를 조정함으로써, 이 방법은 모든 희박성 영역에서 명목상의 커버리지와 점근적 효율성을 달성하며, 이는 이전의 de-biasing 기법이 커버리지가 부족해지는 경우에도 성립한다.

ABSTRACT

This paper studies schemes to de-bias the Lasso in a linear model $y=Xβ+ε$ where the goal is to construct confidence intervals for $a_0^Tβ$ in a direction $a_0$, where $X$ has iid $N(0,Σ)$ rows. We show that previously analyzed propositions to de-bias the Lasso require a modification in order to enjoy efficiency in a full range of sparsity. This modification takes the form of a degrees-of-freedom adjustment that accounts for the dimension of the model selected by Lasso. Let $s_0$ be the true sparsity. If $Σ$ is known and the ideal score vector proportional to $XΣ^{-1}a_0$ is used, the unadjusted de-biasing schemes proposed previously enjoy efficiency if $s_0\lll n^{2/3}$. However, if $s_0\ggg n^{2/3}$, the unadjusted schemes cannot be efficient in certain $a_0$: then it is necessary to modify existing procedures by a degrees-of-freedom adjustment. This modification grants asymptotic efficiency for any $a_0$ when $s_0/p o 0$ and $s_0\log(p/s_0)/n o 0$. If $Σ$ is unknown, efficiency is granted for general $a_0$ when $$\frac{s_0\log p}{n}+\min\Big\{\frac{s_Ω\log p}{n},\frac{\|Σ^{-1}a_0\|_1\sqrt{\log p}}{\|Σ^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_Ω,s_0)\log p}{\sqrt n} o0$$ where $s_Ω=\|Σ^{-1}a_0\|_0$, provided that the de-biased estimate is modified with the degrees-of-freedom adjustment. The dependence in $s_0,s_Ω$ and $\|Σ^{-1}a_0\|_1$ is optimal. Our estimated score vector provides a novel methodology to handle dense $a_0$. Our analysis shows that the degrees-of-freedom adjustment is not needed when the initial bias in direction $a_0$ is small, which is granted under stringent conditions on $Σ^{-1}$. The main proof argument is an interpolation path similar to that typically used to derive Slepian's lemma. It yields a new $\ell_\infty$ error bound for the Lasso which is of independent interest.

연구 동기 및 목표

• 희박성이 높을 때 고차원 설정에서 기존의 Lasso de-biasing 방법이 실패하는 문제를 해결하기 위해.
• 비제로 계수의 수 $ s_0 $ 가 $ n^{2/3} $ 를 초과하는 경우에도 명목상의 커버리지와 점근적 효율성을 유지하는 de-biasing 절차를 개발하기 위해.
• Lasso가 무작위로 선택한 모형 차원을 고려한 이론적으로 탄탄한 조정을 제공하여 추론의 타당성을 향상시키기 위해.
• 고차원 모델에서 효율적 추론을 위한 필요한 표본 크기의 알려진 상한과 하한 사이의 격차를 메우기 위해.
• 밀도 높은 방향 $ \boldsymbol{a}_0 $ 를 효과적으로 다룰 수 있는 새로운 추정 점수 벡터를 구축하기 위해.

제안 방법

• Lasso 해에서 비제로 계수의 수를 고려하여 de-biasing 추정량에 자유도 조정 $ \nu $ 를 도입한다.
• 추정 점수 벡터를 기반으로 한 1단계 보정을 통해 Lasso 추정량을 방향 $ \boldsymbol{a}_0 $ 에 대해 de-biasing 하되, 선택된 모형의 유효 자유도를 조정한다.
• 점근 전개에서 나머지 항을 제어하기 위해 독립적으로 유도된 Lasso에 대한 날카운 $ \ell_\infty $ 오차 한계를 핵심 기술 도구로 사용한다.
• 점근 분포에서 나머지 항을 제어하기 위해 조건부 정규분포 근사와 농도 불등식을 활용한다.
• Lasso 경로가 잘 행동하고 설계 행렬이 정규성 조건을 만족하는 조건인 모형 선택 사건 $ \Omega_1 \cap \Omega_2 $ 의 공동 제어를 확립한다.
• $ \|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2 = 1 $ 이 되도록 척도 불변 변환을 사용하여 정규화함으로써, 일반성을 잃지 않고 점근 분석을 단순화한다.

실험 결과

연구 질문

• RQ1 진짜 희박성 $ s_0 $ 가 $ n $ 에 비해 클 때, 표준 Lasso de-biasing 기법이 명목상의 커버리지를 유지하는가?
• RQ2 자유도 조정을 통해 고희박성 영역에서 명목상의 커버리지와 점근적 효율성을 복원할 수 있는가?
• RQ3 효율적 추론을 위한 고차원 선형 모델에서 $ s_0 $, $ s_\Omega = \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_0 $, 및 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 에 대한 최적의 의존성은 무엇인가?
• RQ4 밀도 높은 방향 $ \boldsymbol{a}_0 $ 를 다룰 수 있도록 de-biasing 절차를 어떻게 확장할 수 있는가? 이 경우 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 이 크다.
• RQ5 Lasso에 대한 날카운 $ \ell_\infty $ 오차 한계는 무엇이며, 이는 de-biasing 프레임워크에 어떻게 기여하는가?

주요 결과

• 표준 de-biasing 기법은 $ \boldsymbol{\Sigma} $ 가 알려져 있더라도 $ s_0 \ggg n^{2/3} $ 일 때 명목상의 커버리지를 달성하지 못한다.
• 제안된 자유도 조정은 모든 희박성 영역에서 명목상의 커버리지와 점근적 효율성을 복원하며, 고 $ s_0 $ 의 경우에도 성립한다.
• 해당 방법은 $ \frac{s_0\log p}{n} + \min\left\{\frac{s_\Omega\log p}{n}, \frac{\|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1\sqrt{\log p}}{\|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2\sqrt{n}}\right\} + \frac{\min(s_\Omega, s_0)\log p}{\sqrt{n}} \to 0 $ 일 때 효율성을 달성한다.
• $ s_0 $, $ s_\Omega $, 및 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 에 대한 의존성은 최적이며, 이는 이전의 상한과 하한 사이의 격차를 메운다.
• 추정 점수 벡터의 구성은 이전에 다루기 어려웠던 밀도 높은 방향 $ \boldsymbol{a}_0 $ 에 대해 타당한 추론을 가능하게 한다.
• 논문은 Lasso에 대해 날카운 $ \ell_\infty $ 오차 한계를 도출하였으며, 이는 별도의 관심사이며 주요 이론적 결과의 기초를 이룬다.