[논문 리뷰] Variable selection in high-dimensional additive models based on norms of projections

Martin Wahl|arXiv (Cornell University)|2014. 05. 31.

Statistical Methods and Inference참고 문헌 21인용 수 5

한 줄 요약

이 논문은 힐버트 공간 기하학과 농도 불등식을 활용하여 고차원 가산 모형에 대한 새로운 변수 선택 방법을 제안한다. 응답 변수가 가산 부분공간에 투영된 노름의 노름을 기반으로 하며, 최소한의 기하학적 가정 하에 일致한 변수 선택 조건을 수립하고, 다른 성분들이 알려져 있지 않은 경우에도 개별 성분이 최적의 속도로 추정될 수 있음을 보여준다.

ABSTRACT

We consider the problem of variable selection in high-dimensional sparse additive models. We focus on the case that the components belong to nonparametric classes of functions. The proposed method is motivated by geometric considerations in Hilbert spaces and consists of comparing the norms of the projections of the data onto various additive subspaces. Under minimal geometric assumptions, we prove concentration inequalities which lead to new conditions under which consistent variable selection is possible. As an application, we establish conditions under which a single component can be estimated with the rate of convergence corresponding to the situation in which the other components are known.

연구 동기 및 목표

• 표본 크기보다 훨씬 많은 공변량을 가진 고차원 희박 가산 모형에서 변수 선택 문제를 다루는 것.
• 가산 부분공간에 대한 투영의 경험적 노름을 비교하는 데 기반한 힐버트 공간 기하학에 뿌리를 둔 방법을 개발하는 것.
• 비모수적 가산 모형에서 일치한 변수 선택이 가능한 이론적 조건을 수립하는 것.
• 다른 성분들이 알려져 있는 것처럼 단일 성분이 최소 최대 최적 속도로 추정될 수 있는 조건을 도출하는 것.

제안 방법

• 응답 변수가 해당 가산 부분공간에 투영된 노름이 가장 큰 공변량의 부분집합을 선택하는 방법.
• 가산 부분공간 간의 기하학적 분리도를 기반으로 한 인구 수준의 선택 기준을 사용하며, 이는 부분공간 간 최소 각도가 0에서 벗어나야 한다는 조건을 수반한다.
• 구조적 랜덤 행렬 이론의 도구를 통해 경험적 노름이 $L^2(\mathbb{P}^X)$-노름 주위에 강한 균일 농도를 보임을 근거로 하는 접근 방식.
• 독립된 공변량의 경우 제한된 (블록) 등장성 성질을 수립하며, 이는 압축 감지 프레임워크와 연결된다.
• 추정 오차를 통제하기 위해 카이제곱 및 가우시안 혼합 항에 대한 농도 불등식을 활용한다.
• 모든 후보 부분집합에 대해 유니온 바운드를 적용하여 변수 선택의 고확률 일致성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 비모수적 가산 모형에서 투영 노름 기반 기하학적 기준을 사용하여 일관된 변수 선택을 수행할 수 있는가?
• RQ2 어떤 기하학적 및 확률적 조건 하에서 투영 노름 방법이 관련 변수의 일관된 선택을 달성하는가?
• RQ3 다른 성분들이 알려져 있지 않은 경우에도 단일 성분이 최소 최대 최적 속도로 추정될 수 있는가, 고차원 설정에서도 성립하는가?
• RQ4 이 방법의 성능은 고차원 회귀에서 Lasso나 지수 가중법과 같은 기존 접근 방식과 어떻게 관련되는가?
• RQ5 가산 부분공간 간 최소 각도가 일관된 변수 선택을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 최소한의 기하학적 가정 하에, 즉 서로소인 가산 부분공간 간 최소 각도가 0에서 벗어나야 한다는 조건 하에, 이 방법은 일관된 변수 선택을 달성한다.
• 관련 변수를 놓치는 확률은 세 개의 항의 합으로 bound되며, 각 항은 카이제곱 및 가우시안 혼합에 대한 농도 불등식을 통해 통제된다.
• 첫 번째와 두 번째 항은 표본 크기에 따라 지수적으로 감소하며, 이는 후보 부분공간의 차원과 성분 간 분리도에 따라 달라진다.
• 세 번째 항은 노이즈와의 내적을 포함하며, 가우시안 농도와 제한된 (블록) 등장성 성질을 활용하여 bound된다.
• 설계 조건과 성분의 매끄러움에 적절한 조건이 만족되면, 이 방법은 다른 모든 성분이 알려져 있는 경우와 동일한 최적의 추정 속도로 단일 성분을 추정할 수 있다.
• 이론적 프레임워크는 압축 감지의 결과를 일반화하며, 비모수적 가산 모형에서 일관된 추정을 위한 새로운 조건을 제공한다.