[論文レビュー] Extending Statistical Boosting - An Overview of Recent Methodological Developments

Andreas Mayr, Harald Binder+2 more|arXiv (Cornell University)|Mar 7, 2014

Statistical Methods and Inference参考文献 44被引用数 4

ひとこと要約

本論文は勾配ブースティングと尤度ベースブースティングを統合したフレームワーク——統計的ブースティングと総称される——を提示し、統計モデルにおける予測子効果の同時推定と選択を可能にする。過去10年間の主な手法的進展をレビューし、改善された変数選択、柔軟な予測子効果（例：非線形、交互作用）、生存分析や多変量アウトカムを含む多様な回帰設定への拡張が含まれ、バイオメディカル研究における解釈可能性と応用性を著しく向上させた。

ABSTRACT

Boosting algorithms to simultaneously estimate and select predictor effects in statistical models have gained substantial interest during the last decade. This review article aims to highlight recent methodological developments regarding boosting algorithms for statistical modelling especially focusing on topics relevant for biomedical research. We suggest a unified framework for gradient boosting and likelihood-based boosting (statistical boosting) which have been addressed strictly separated in the literature up to now. Statistical boosting algorithms have been adapted to carry out unbiased variable selection and automated model choice during the fitting process and can nowadays be applied in almost any possible type of regression setting in combination with a large amount of different types of predictor effects. The methodological developments on statistical boosting during the last ten years can be grouped into three different lines of research: (i) efforts to ensure variable selection leading to sparser models, (ii) developments regarding different types of predictor effects and their selection (model choice), (iii) approaches to extend the statistical boosting framework to new regression settings.

研究の動機と目的

• 勾配ブースティングと尤度ベースブースティングを統一的な統計的ブースティングフレームワークに統合すること。
• 古典的機械学習ブースティングの限界を克服し、変数選択を伴う解釈可能なモデル推定を可能にすること。
• バイオメディカル研究に関連する高次元データおよび複雑な回帰設定に統計的ブースティングを拡張すること。
• 適合過程において自動的なモデル選択とバイアスのない変数選択を支援し、モデルの解釈性と頑健性を向上させること。
• 臨床および疫学的研究における複数のアウトカムやパラメータへの将来的な拡張のための手法的基盤を提供すること。

提案手法

• 勾配ブースティングと尤度ベースブースティングの両方を統一的なアルゴリズム的構造で扱い、ベース・ラーナーと反復的フィッティングといったコアなコンponentsを共有する。
• 個々の予測子効果を独立して推定するために、成分別ベース・ラーナー（例：単変量線形モデル、罰則付きスプライン）を用いる。
• 反復的モデル推定の更新に、負の勾配近似（勾配ブースティング）またはフィッシャー・スコア法とオフセット項（尤度ベースブースティング）を用いる。
• L2またはL1に類似した罰則を適用することで、最終モデルにおける自動的変数選択とスパarsityを達成する。
• 生存分析、多変量、二値アウトカムのための新しい損失関数への拡張を実施し、C-index や pAUC といった特別な指標を含む。
• 右打ち切りデータにおけるバイアスを是正するために、逆確率打ち切り重みを統合し、頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングと尤度ベースブースティングを、統一的な統計的ブースティングフレームワークの下で正式に統合する方法は何か？
• RQ2 高次元回帰設定において、バイアスのない変数選択とスパースなモデルを実現するための手法的改善は何か？
• RQ3 非線形、交互作用、スムーズ関数などの複雑な予測子効果をモデル化するために、統計的ブースティングはどのように適合可能か？
• RQ4 生存分析や多変量アウトカムを含む新しい回帰設定に、統計的ブースティングはどのように拡張可能か？
• RQ5 C-index や pAUC といった新規損失関数は、バイオメディカル応用における予測性能とモデル評価をどのように改善するか？

主な発見

• 勾配ブースティングと尤度ベースブースティングを統合したフレームワークが成功裏に確立され、かつて別個の手法的分野であった両者を橋渡しした。
• 統計的ブースティングは、反復的罰則付き推定を通じて自動的かつバイアスのない変数選択を可能にし、スパースで解釈可能なモデルを生成する。
• 罰則付きスプラインなどの成分別ベース・ラーナーを用いることで、非線形および交互作用項を含む柔軟な予測子効果のモデリングが可能である。
• C-index や pAUC の最適化を、微分可能な損失関数と逆確率打ち切り重みを用いて、生存データへの応用が達成された。
• 観測数より予測子が多い高次元設定でも頑健であり、このような状況下で古典的手法を上回る性能を示した。
• 本手法はバイオメディカル研究で広く採用されており、オープンソースのRパッケージを介して実装されており、がん分類から胎児成長予測まで多岐にわたる応用を支援している。