[논문 리뷰] Two-step estimation of high dimensional additive models

Kengo Kato|arXiv (Cornell University)|2012. 07. 23.

Statistical Methods and Inference참고 문헌 31인용 수 7

한 줄 요약

이 논문은 설명변수의 수가 표본 크기보다 많고, 비영인 성분의 수가 매우 적은 고차원 가감 모형에 대해 이중 추정 방법을 제안한다. 첫 번째 단계에서 군집 Lasso를 사용해 변수 선택을 수행하고, 두 번째 단계에서 선택된 성분에 대해 소벨레프 펜alty를 적용한 제약 있는 최소제곱 추정을 실시함으로써, 모형 잘못 설정 상황에서도 최적의 추정 속도를 달성하고, 선택 과정에서 발생하는 잘못된 양성(False Positives)과 잘못된 음성(False Negatives)을 고려한 이론적 성능 경계를 제공한다.

ABSTRACT

This paper investigates the two-step estimation of a high dimensional additive regression model, in which the number of nonparametric additive components is potentially larger than the sample size but the number of significant additive components is sufficiently small. The approach investigated consists of two steps. The first step implements the variable selection, typically by the group Lasso, and the second step applies the penalized least squares estimation with Sobolev penalties to the selected additive components. Such a procedure is computationally simple to implement and, in our numerical experiments, works reasonably well. Despite its intuitive nature, the theoretical properties of this two-step procedure have to be carefully analyzed, since the effect of the first step variable selection is random, and generally it may contain redundant additive components and at the same time miss significant additive components. This paper derives a generic performance bound on the two-step estimation procedure allowing for these situations, and studies in detail the overall performance when the first step variable selection is implemented by the group Lasso.

연구 동기 및 목표

• 설명변수의 수 d가 표본 크기 n을 초과할 때 고차원 가감 모형을 추정하는 데 도전하는 것.
• 변수 선택과 비모수적 스무딩을 조합한 계산이 단순한 이중 절차를 개발하여 희소성과 추정 정확도를 동시에 달성하는 것.
• 랜덤 선택 효과(예: 불필요한 성분 선택, 진짜 성분 누락)를 고려한 이중 절차의 성능을 이론적으로 분석하는 것.
• 모형 선택 불확실성을 반영하고 소벨레프 스무드성 조건 하에 수렴 속도를 보장하는 일반적인 성능 경계를 수립하는 것.
• 첫 번째 단계에서 군집 Lasso를 사용할 경우, 고차원적이고 다항식 이외의 속도로 d가 증가하더라도, L2-위험에서 최소최대 최적 수렴 속도를 달성할 수 있음을 보여주는 것.

제안 방법

• 첫 번째 단계: 군집 Lasso를 적용해 잠재적으로 중요한 변수의 후보 집합을 식별하기 위해 가감 성분의 부분집합을 선택한다.
• 두 번째 단계: 선택된 성분에 대해 소벨레프 펜alty를 사용한 제약 있는 최소제곱 추정을 실시하여 스무드성을 제어하고 과적합을 방지한다.
• 추정 함수의 부드러움을 보장하기 위해 소벨레프 공간 노름을 사용한다: $ I(g_j)^2 = \int_0^1 g_j^{(\nu)}(z)^2 dz $.
• 이론적 분석은 모형 선택 오차와 근사 편향을 모두 고려한 추정 오차의 분해를 기반으로 한다.
• 오차 긍정성과 오류 긍정성의 영향을 반영한 일반적인 성능 경계를 사용하며, 농도 불등식과 소벨레프 임bedding 성질을 활용한다.
• 유계 오차 항과 진짜 성분의 스무드성 조건 하에, $ L^2 $-노름의 추정 오차와 추정 함수의 소벨레프 반노름을 제어함으로써 수렴 속도를 유도한다. 이는 오차 항이 유계이고 진짜 성분이 스무드하다는 정규성 조건을 포함한다.

실험 결과

연구 질문

• RQ1 군집 Lasso 선택과 소벨레프 정규화 추정을 조합한 이중 절차가 $ d \gg n $ 조건 하에서 고차원 가감 모형에서 최적의 추정 속도를 달성할 수 있는가?
• RQ2 특히 잘못된 양성과 잘못된 음성으로 인한 모형 선택 불확실성은 이중 추정자의 이론적 성능에 어떤 영향을 미치는가?
• RQ3 이중 추정자의 $ L^2 $-위험 기반 수렴 속도는 무엇이며, 소벨레프 스무드성 조건 하에 최소최대 최적 속도와 일치하는가?
• RQ4 이중 절차는 Meier 등(2009)의 단일 단계 페널티 추정자에서 발생하는 수축 편향을 피할 수 있는가? 만약 그렇다면 이는 이론적 경계에 어떻게 반영되는가?
• RQ5 이중 추정자가 $ s^* \delta^2 $의 최소최대 속도를 달성하는 조건은 무엇인가, 여기서 $ \delta = \max\{n^{-\nu/(2\nu+1)}, \sqrt{\log d / n}\} $ 이다.

주요 결과

• 첫 번째 단계에서 군집 Lasso를 사용할 경우, $ d $가 $ n $에 대해 다항식 이외의 속도로 증가하더라도, 이중 추정자는 $ L^2 $-위험에서 최소최대 최적 수렴 속도 $ s^* \delta^2 $ 를 달성한다.
• 성능 경계는 잘못된 양성과 잘못된 음성 선택 오차를 모두 반영하여, 모형 선택 불확실성에도 불구하고 추정자가 일致성을 유지함을 보여준다.
• 변수 선택과 스무딩을 분리함으로써 단일 단계 페널티 추정자에서 발생하는 수축 편향을 피함으로써, 수치 실험에서 유한 표본 성능이 향상됨을 확인하였다.
• 이론적 분석 결과, 추정자의 $ L^2 $-오차는 진짜 성분의 $ L^2 $-노름, 진짜 함수의 소벨레프 반노름, 잘못 선택되거나 누락된 성분의 수를 포함한 항들로 제한됨을 보여준다.
• 고확률적으로 $ L^2 $-오차는 $ \mathcal{O}_p(\epsilon^2 |T^* \cap \hat{T}| + \varrho^2 |\hat{T} \setminus T^*| + \epsilon^2 \sum_{j \in T^*} I(g_j^*)^2) $ 로 제어되며, 여기서 $ \epsilon $은 편향을 제어하고 $ \varrho $는 잘못된 양성에 대한 페널티를 제어한다.
• 이 경계는 소벨레프 클래스 $ W_2^\nu([0,1]) $ 전반에 대해 균일하며, 표준 정규성 조건 하에 알려진 최소최대 하한선과 일치하는 수렴 속도를 보이며, 추정자의 최적성임을 확인한다.