[論文レビュー] Functional Frank-Wolfe Boosting for General Loss Functions

Chu Wang, Yingfei Wang+2 more|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 29被引用数 10

ひとこと要約

本稿では、一般の損失関数を対象とし、過学習を防ぐために $l_1$ 正則化を組み込んだ、新たなフレnk-Wolfe型ブースティングアルゴリズムである FWBoost を提案する。ブースティングを制約付き最適化問題として定式化し、Frank-Wolfeの収束保証を活用することで、FWBoost は $O(1/t)$ の収束レートを達成し、ブースティングラウンドを増加させても安定したテスト性能を維持する。回帰および分類タスクにおいて、標準的および正則化済みのベースラインを上回る性能を発揮する。

ABSTRACT

Boosting is a generic learning method for classification and regression. Yet, as the number of base hypotheses becomes larger, boosting can lead to a deterioration of test performance. Overfitting is an important and ubiquitous phenomenon, especially in regression settings. To avoid overfitting, we consider using $l_1$ regularization. We propose a novel Frank-Wolfe type boosting algorithm (FWBoost) applied to general loss functions. By using exponential loss, the FWBoost algorithm can be rewritten as a variant of AdaBoost for binary classification. FWBoost algorithms have exactly the same form as existing boosting methods, in terms of making calls to a base learning algorithm with different weights update. This direct connection between boosting and Frank-Wolfe yields a new algorithm that is as practical as existing boosting methods but with new guarantees and rates of convergence. Experimental results show that the test performance of FWBoost is not degraded with larger rounds in boosting, which is consistent with the theoretical analysis.

研究の動機と目的

• ブースティングにおける過学習、特に過学習が顕著に現れる回帰設定の問題に対処すること。
• 反復回数に依存しない理論的収束保証および一般化バウンドを備えたブースティングアルゴリズムの開発。
• 一般の損失関数に対して、ブースティングとフレンク・ウォルフ最適化を統合し、効率的かつ正則化されたアンサンブル学習を可能にすること。
• $l_1$ 正則化をフレンク・ウォルフを用いて行うことで、多くのブースティングラウンドにわたってもテスト性能が劣化しないことを実証すること。

提案手法

• FWBoost は、重み $\alpha_j$ に $l_1$ ノルム制約を課した下での経験的リスク最小化としてブースティングを定式化する。
• 反復的に損失を低減するベース仮説 $h_t$ を選択するため、ステップサイズ $\gamma_t = 2/(t+2)$ を用いたラインサーチにより重みを更新する、フレンク・ウォルフアルゴリズムを適用する。
• 二値分類における指数損失では、FWBoost は重み再割り当てに基づくアルゴリズム AdaBoost.FW に簡略化され、AdaBoost と同等の計算コストを有する。
• 各反復でベース仮説空間 $\mathcal{H}$ 上での部分問題を解く、関数的勾配降下のアプローチを採用する。
• 最終アンサンブルのスパarsity を向上させ、解釈可能性と一般化性能を向上させるために、アウェイステップのバリエーションを導入する。
• 一般化誤差バウンドが反復回数 $T$ に依存せず、$l_1$ 制約にのみ依存することを保証する。

実験結果

リサーチクエスチョン

• RQ1 フレンク・ウォルフに基づくブースティングアルゴリズムは、標準的ブースティングと同等の計算複雑性を維持しながら、$O(1/t)$ の収束レートを達成できるか？
• RQ2 フレンク・ウォルフによる $l_1$ 正則化は、回帰タスクにおいてもブースティングの過学習を防止できるか？
• RQ3 反復回数を増加させた場合、FWBoost のテスト誤差および安定性は、AdaBoost や他の正則化ブースティング手法と比較してどのように異なるか？
• RQ4 フレンク・ウォルフフレームワークは、理論的保証を伴いながら、一般の損失関数を対象としたアンサンブル学習に適応可能か？

主な発見

• UCI 回帰データセットにおいて、FWBoost は標準的勾配ブースティングおよび他の正則化ベースラインと比較して、経験的リスクの低減が著しく速い。
• Auto MPG、Housing、Concrete Slump データセットでは、FWBoost アルゴリズムが平均テスト MSE において最低を記録し、早期停止法や BLasso を上回る性能を示した。
• 二値分類において、AdaBoost.FW は多くの反復後でもテスト誤差に劣化が見られず、標準的 AdaBoost が心疾患データセットで過学習を示すのとは対照的であった。
• FWBoost のテスト誤差は、すべてのブースティングラウンドにわたり安定的かつ低く保たれ、過学習に対する理論的予測の妥当性を裏付けた。
• FWBoost のアウェイステップバリエーションは、アンサンブルのスパarsity を向上させ、よりコンactかつ解釈可能なモデルを実現した。
• 理論的解析により、一般化誤差が反復回数 $T$ に依存せず、$l_1$ 制約にのみ依存することが確認された。