[논문 리뷰] Tight conditions for consistent variable selection in high dimensional nonparametric regression

Laëtitia Comminges, Arnak S. Dalalyan|arXiv (Cornell University)|2011. 02. 17.

Statistical Methods and Inference참고 문헌 27인용 수 14

한 줄 요약

이 논문은 고차원 비모수 회귀에서 임베딩 차원 $d$보다 훨씬 작은 내재 차원 $d^*$를 가진 경우, 일致적인 변수 선택을 위한 날카운 비점근적 조건을 수립한다. 방법은 임의의 푸리에 계수를 임계값 처리하고, $d^* / \log n \to 0$ 일 때 일관된 복원이 가능하고, $d^* / \log n \to \infty$ 일 때는 불가능함을 증명한다. 이는 약간의 부드러움 조건 하에 성립한다.

ABSTRACT

We address the issue of variable selection in the regression model with very high ambient dimension, i.e., when the number of covariates is very large. The main focus is on the situation where the number of relevant covariates, called intrinsic dimension, is much smaller than the ambient dimension. Without assuming any parametric form of the underlying regression function, we get tight conditions making it possible to consistently estimate the set of relevant variables. These conditions relate the intrinsic dimension to the ambient dimension and to the sample size. The procedure that is provably consistent under these tight conditions is simple and is based on comparing the empirical Fourier coefficients with an appropriately chosen threshold value.

연구 동기 및 목표

• 고차원 설정에서 $d$ 가 크고 $n$ 이 작을 때 비모수 회귀의 일관된 변수 선택에 대한 이론적 간극을 메우기 위해.
• 스패arsity 패턴(즉, 관련된 예측변수의 집합)의 일관된 추정을 보장하는 $d^*$, $d$, $n$ 에 대한 날카운 비점근적 조건을 도출하기 위해.
• 제안된 방법이 최소한의 가정 하에 일관성을 달성함을 보이며, 실패 확률에 대한 명시적 상한을 제공하기 위해.
• 날카운 전이를 수립하기 위해: $d^* / \log n \to 0$ 이면 일관된 복원이 가능하고, $d^* / \log n \to \infty$ 이면 불가능하며, 부드러움과 설계에 대한 약간의 가정 하에 성립한다.
• 계산 제약이 없는 조건에서 비모수 변수 선택의 기본 한계를 규명함으로써 향후 방법 평가의 기준을 제공하기 위해.

제안 방법

• 방법은 관련이 없는 변수에 대응하는 계수들이 작다는 사실을 이용해, 회귀 함수의 경험적 푸리에 계수를 임계값 처리함으로써 스파arsity 패턴을 추정한다.
• 소음 수준 $σ$, 회귀 함수의 부드러움(일반적으로 $L_2$ 및 $L_∞$ 노름으로 측정), 설계 밀도의 성질에 기반한 데이터 기반 임계값을 유도한다.
• 단계별 계산 전략을 사용한다: 각 단계 $K = 1, 2, \dots, d^*$ 에서 $\|\boldsymbol{k}\|_0 = K$ 인 계수들만 계산하고 임계값과 비교하며, $d^*$ 개의 관련 변수를 찾을 때까지 반복한다.
• 이론적 보장은 농도 부등식과 엔트로피 추정을 사용하여 유도되며, 오류 확률은 $3(6md)^{d^*}$ 로 유계화되며, 유도된 조건 하에 $d \to \infty$ 일 때 0으로 수렴한다.
• 이 방법은 비모수적이며 회귀 함수의 특정한 모형 형태를 가정하지 않으며, 부드러움과 유계성 조건에 의존한다.
• 분석은 관련 푸리에 지표 집합의 엔트로피와 함수 $N(d^*, 2L)$ 의 행동을 사용하여 표본 크기 요구 조건에 대한 날카운 상한을 도출한다.

실험 결과

연구 질문

• RQ1 비모수 회귀에서 스파arsity 패턴의 일관된 복원이 가능한 $d^*$, $d$, $n$ 에 대한 가장 날카운 조건은 무엇인가?
• RQ2 비모수 변수 선택 절차가 회귀 함수와 설계 밀도에 대해 최소한의 가정 하에 일관성을 달성할 수 있는가?
• RQ3 표본 크기와 차원에서 일관된 복원과 불일관된 복원을 분리하는 날카운 전이가 존재하는가?
• RQ4 비모수 모형에서 일관된 변수 선택을 위해 내재 차원 $d^*$ 는 $n$ 과 $d$ 와 어떻게 스케일링되는가?
• RQ5 제안된 푸리에 기반 방법이 추가 모형과 같은 특정 함수 클래스에서 다항 시간 복잡도로 일관성을 달성할 수 있는가?

주요 결과

• 부드러움과 설계에 대한 약간의 가정 하에 $n \to \infty$ 일 때 $d^* / \log n \to 0$ 이면 일관된 변수 선택이 가능하다.
• $d^* / \log n \to \infty$ 이면 일관된 복원이 불가능하며, 상수까지의 하한과 일치하는 날카운 임계값을 설정한다.
• 제안된 추정기(임계값 처리된 푸리에 계수 기반)는 $\log d / n \leq c_\star$ 조건 하에 일관성을 달성한다. 여기서 $c_\star$ 는 부드러움과 소음 매개변수에 의존한다.
• 추정기의 실패 확률은 $3(6md)^{d^*}$ 로 유계화되며, 유도된 조건 하에 $d \to \infty$ 일 때 0으로 수렴한다.
• 추가 모형에서는 계산이 가능하며, 복잡도가 지수적에서 다항식적($d$ 에 대해)으로 감소한다.
• 이 결과는 오랫동안 존재하던 선형 모형과 비모수 모형 간의 격차를 메운다: 선형 모형에서는 $d^* \log(d/d^*) = o(n)$ 이면 일관된 복원이 가능하지만, 비모수 모형에서는 $d^* / \log n \to 0$ 이며, 이는 고 $d^*$ 영역에서 더 엄격한 조건이다.