[논문 리뷰] High-Dimensional $L_2$Boosting: Rate of Convergence

Ye Luo, Martin Spindler외 1명|arXiv (Cornell University)|2016. 02. 29.

Blind Source Separation Techniques인용 수 20

한 줄 요약

이 논문은 고차원 희소 회귀 모델에서 $L_2$ 부스팅의 수렴 속도를 규명하며, 동일한 최적 수렴 속도를 달성하는 후-$L_2$ 부스팅과 직교 $L_2$ 부스팅이라는 변형을 제안한다. $L_2$ 부스팅의 재방문 행동을 분석하고, 설계 행렬의 희소 고유값 구조에 의존하는 수렴 경계를 도출한다.

ABSTRACT

Boosting is one of the most significant developments in machine learning. This paper studies the rate of convergence of $L_2$Boosting, which is tailored for regression, in a high-dimensional setting. Moreover, we introduce so-called extquotedblleft post-Boosting extquotedblright. This is a post-selection estimator which applies ordinary least squares to the variables selected in the first stage by $L_2$Boosting. Another variant is extquotedblleft Orthogonal Boosting extquotedblright\ where after each step an orthogonal projection is conducted. We show that both post-$L_2$Boosting and the orthogonal boosting achieve the same rate of convergence as LASSO in a sparse, high-dimensional setting. We show that the rate of convergence of the classical $L_2$Boosting depends on the design matrix described by a sparse eigenvalue constant. To show the latter results, we derive new approximation results for the pure greedy algorithm, based on analyzing the revisiting behavior of $L_2$Boosting. We also introduce feasible rules for early stopping, which can be easily implemented and used in applied work. Our results also allow a direct comparison between LASSO and boosting which has been missing from the literature. Finally, we present simulation studies and applications to illustrate the relevance of our theoretical results and to provide insights into the practical aspects of boosting. In these simulation studies, post-$L_2$Boosting clearly outperforms LASSO.

연구 동기 및 목표

• 고차원 희소 회귀 설정에서 전통적 $L_2$ 부스팅의 수렴 속도를 규명하는 것.
• 변수들이 반복적으로 반복 선택되는 $L_2$ 부스팅의 재방문 행동을 분석하는 것.
• 후-$L_2$ 부스팅( $L_2$ 부스팅 단계에서 선택된 변수들에 대해 OLS를 적용하는 것)과 직교 $L_2$ 부스팅(각 단계에서 직교 투영을 적용하는 것)이라는 두 가지 새로운 변형을 제안하고 분석하는 것.
• 설계 행렬의 희소 고유값 구조에 따라 달라지는 이론적 수렴 경계를 도출하는 것.
• 최적의 이론적 성능을 달성할 수 있는 실현 가능한, 구현 가능한 조기 정지 규칙을 제공하는 것.

제안 방법

• 순수 탐욕 알고리즘(PGA)을 분석하고, $L_2$ 부스팅의 재방문 행동에 대한 새로운 분석을 통해 수렴 경계를 유도하는 것.
• 후-$L_2$ 부스팅을 $L_2$ 부스팅 반복 과정에서 선택된 변수들에 대해 OLS 추정기를 적용하는 방식으로 도입하는 것.
• 각 단계에서 이전에 선택된 변수들과 잔차의 직교성을 보장하기 위해 직교 투영을 적용하는 직교 $L_2$ 부스팅을 제안하는 것.
• 희소 고유값 조건(제한된 고유값 상수)을 사용하여 $L_2$ 부스팅의 수렴 속도를 경계하는 것.
• 이론적 수렴 경계에 기반한 새로운 조기 정지 규칙을 도출하며, 이는 유한 표본에서 실용적이고 효과적인 것으로 설계된 것임.
• 희소성 가정 하에 고차원 점근적 분석을 수행하며, 농도 불등식과 경험 과정 기법을 통해 확률 경계를 도출하는 것.

실험 결과

연구 질문

• RQ1 고차원 희소 모델에서 전통적 $L_2$ 부스팅의 수렴 속도는 무엇이며, 설계 행렬에 어떻게 의존하는가?
• RQ2 $L_2$ 부스팅의 재방문 행동은 수렴 속도와 변수 선택 패턴에 어떻게 영향을 미치는가?
• RQ3 후-$L_2$ 부스팅과 직교 $L_2$ 부스팅은 고차원 환경에서 LASSO와 동일한 최적 수렴 속도를 달성할 수 있는가?
• RQ4 $L_2$ 부스팅에서의 조기 정지에 대한 이론적 근거는 무엇이며, 실무에서 효과적으로 구현할 수 있는가?
• RQ5 $L_2$ 부스팅의 이론적 수렴 속도는 LASSO와 어떻게 비교되며, 어떤 조건에서 일치하는가?

주요 결과

• $L_2$ 부스팅의 수렴 속도는 설계 행렬의 희소 고유값 구조에 따라 달라지며, 특히 최소 및 최대 제한 고유값과 관련된 상수에 의존한다.
• 후-$L_2$ 부스팅과 직교 $L_2$ 부스팅은 모두 고차원 희소 모델에서 LASSO와 동일한 최적 수렴 속도를 달성한다.
• $L_2$ 부스팅의 수렴 속도는 설계 행렬이 유리한 희소 고유값 조건을 만족하지 않는 한, LASSO보다 일반적으로 느리다.
• 이론적 분석에 따르면, $L_2$ 부스팅에서의 재방문 빈도는 설계 행렬의 구조와 관련이 있으며 수렴 속도에 영향을 준다.
• 최적의 이론적 수렴 경계를 달성할 수 있는 실현 가능한 조기 정지 규칙이 제안되었으며, 시뮬레이션에서 양호한 성능을 보였다.
• 충분히 큰 $K$에 대해, 높은 확률로 진정으로 관련된 변수들(진짜 계수 벡터의 지지집합)은 $Ks$ 단계 이내에 선택되며, 이는 일관된 변수 선택을 보장한다.