[論文レビュー] High-Dimensional $L_2$Boosting: Rate of Convergence

Ye Luo, Martin Spindler+1 more|arXiv (Cornell University)|Feb 29, 2016

Blind Source Separation Techniques被引用数 20

ひとこと要約

本稿は、高次元スパース回帰モデルにおける$L_2$ブースティングの収束速度を確立し、同じ最適収束速度を達成するpost-$L_2$ブースティングおよび直交$L_2$ブースティングという変種を導入する。$L_2$ブースティングにおける再訪問行動を分析し、設計行列のスパース固有値構造に依存する収束バウンドを導出する。

ABSTRACT

Boosting is one of the most significant developments in machine learning. This paper studies the rate of convergence of $L_2$Boosting, which is tailored for regression, in a high-dimensional setting. Moreover, we introduce so-called extquotedblleft post-Boosting extquotedblright. This is a post-selection estimator which applies ordinary least squares to the variables selected in the first stage by $L_2$Boosting. Another variant is extquotedblleft Orthogonal Boosting extquotedblright\ where after each step an orthogonal projection is conducted. We show that both post-$L_2$Boosting and the orthogonal boosting achieve the same rate of convergence as LASSO in a sparse, high-dimensional setting. We show that the rate of convergence of the classical $L_2$Boosting depends on the design matrix described by a sparse eigenvalue constant. To show the latter results, we derive new approximation results for the pure greedy algorithm, based on analyzing the revisiting behavior of $L_2$Boosting. We also introduce feasible rules for early stopping, which can be easily implemented and used in applied work. Our results also allow a direct comparison between LASSO and boosting which has been missing from the literature. Finally, we present simulation studies and applications to illustrate the relevance of our theoretical results and to provide insights into the practical aspects of boosting. In these simulation studies, post-$L_2$Boosting clearly outperforms LASSO.

研究の動機と目的

• 古典的$L_2$ブースティングの高次元スパース回帰設定における収束速度を確立すること。
• $L_2$ブースティングにおける変数の繰り返し選択（再訪問）行動を分析すること。
• 2つの新しい変種、post-$L_2$ブースティング（$L_2$ブースティングの反復で選択された変数に対するOLS推定量）および直交$L_2$ブースティング（各ステップで直交射影を適用）を導入し、それらを分析すること。
• 設計行列のスパース固有値構造に依存する収束速度の理論的バウンドを導出すること。
• 最適な理論的性能を達成する実装可能で実用的な早期停止ルールを提供すること。

提案手法

• 純粋な勾配法（PGA）を分析し、$L_2$ブースティングにおける再訪問行動の新しい分析を導入して収束バウンドを導出する。
• post-$L_2$ブースティングを、$L_2$ブースティングの反復で選択された変数に対してOLS推定量を適用するものとして導入する。
• 直交$L_2$ブースティングを提案し、各ステップで以前に選択された変数に対して残差が直交するようにする。
• スパース固有値条件（制限固有値定数）を用いて、$L_2$ブースティングの収束速度をバウンディングする。
• 理論的収束バウンドに基づく新しい早期停止ルールを導出し、有限標本において実用的かつ効果的であるように設計する。
• スパarsity仮定の下で高次元漸近的分析を用い、集中不等式および経験過程技法を用いて確率的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 古典的$L_2$ブースティングの高次元スパースモデルにおける収束速度は何か？ そして設計行列にどのように依存するか？
• RQ2 $L_2$ブースティングの再訪問行動は、その収束速度および変数選択パターンにどのように影響するか？
• RQ3 post-$L_2$ブースティングおよび直交$L_2$ブースティングは、高次元設定においてLASSOと同等の最適収束速度を達成できるか？
• RQ4 $L_2$ブースティングにおける早期停止の理論的根拠は何か？ そして実務的に効果的に実装するにはどうすればよいか？
• RQ5 $L_2$ブースティングの理論的収束速度はLASSOと比較してどうか？ どのような条件下で一致するか？

主な発見

• $L_2$ブースティングの収束速度は、設計行列のスパース固有値構造に依存し、特に最小および最大の制限固有値に関連する定数に依存する。
• post-$L_2$ブースティングおよび直交$L_2$ブースティングは、いずれもスパースで高次元のモデルにおいて、LASSOと同等の最適収束速度を達成する。
• $L_2$ブースティングの収束速度は、設計行列が望ましいスパース固有値条件を満たさない限り、一般にLASSOより遅い。
• 理論的分析により、$L_2$ブースティングにおける再訪問頻度は設計行列の構造に依存し、収束速度に影響を与えることが示された。
• 最適な理論的収束バウンドを達成する実装可能な早期停止ルールが提案され、シミュレーションでも良好な性能を示した。
• 十分に大きな$K$に対して、高確率で真に関連する変数（真の係数ベクトルのサポート）が$Ks$ステップ以内にすべて選択されることが保証される。