[論文レビュー] Online Coordinate Boosting

Raphael Pelossof, Michael Jones+2 more|ArXiv.org|Oct 24, 2008

Face and Expression Recognition参考文献 10被引用数 4

ひとこと要約

本稿では、オンラインブースティングの新規アルゴリズムであるオンライン座標ブースティング（OCB）を提案する。OCBは、バッチAdaBoostの指数損失を座標単位の最小化により段階的に弱識別器重みを更新することで、バッチAdaBoostを近似する。コストの高い全データセット再計算を回避する効率的な近似を導出し、合成データ、顔データ、MNISTデータ上で、OzaとRussellのアルゴリズムよりも近似誤差と一般化性能が優れている。最適な性能は、オーダー400の順序で達成される。

ABSTRACT

We present a new online boosting algorithm for adapting the weights of a boosted classifier, which yields a closer approximation to Freund and Schapire's AdaBoost algorithm than previous online boosting algorithms. We also contribute a new way of deriving the online algorithm that ties together previous online boosting work. We assume that the weak hypotheses were selected beforehand, and only their weights are updated during online boosting. The update rule is derived by minimizing AdaBoost's loss when viewed in an incremental form. The equations show that optimization is computationally expensive. However, a fast online approximation is possible. We compare approximation error to batch AdaBoost on synthetic datasets and generalization error on face datasets and the MNIST dataset.

研究の動機と目的

• 新しいデータストリームおよびコンセプトドリフトに適応できる、高速かつ高精度なオンライン学習アルゴリズムを開発すること。
• 全データセットの再評価が必要なため、オンライン環境においてバッチAdaBoostを正確に再現することが計算的に非現実的であるという問題に取り組むこと。
• 逐次的に例を追加しながら、AdaBoostの損失最小化の原理的オンライン近似を導出すること。
• OzaとRussellの手法を改善し、近似誤差を低減しながら計算効率を維持すること。

提案手法

• 1つの例を1回ずつ訓練セットに追加することで、AdaBoostの指数損失に対する正確な段階的更新ルールを導出する。
• 全データセット上ですべての弱識別器出力を再計算するのを避けるために、グリーディーな座標単位の最小化を用いた高速オンライン近似を定式化する。
• リトルストンのWinnowやフレンドとシュバイパーのAdaBoostにインspiredされた乗法的重み更新ルールを採用するが、オンライン逐次学習に適応させる。
• メモリ制約と速度制約の下で、各弱識別器ごとの正しく分類された例と誤って分類された例の重みの累積和を保存・更新し、重み付き誤差率を推定する。
• 近似に使用する過去の例の数を制御するパラメータ「オーダー」を導入し、精度と計算コストのトレードオフを可能にする。
• 初期データの小さなバッチからの重みでアルゴリズムを初期化し、ストリーミング形式で継続的に新しい例に適応させる。

実験結果

リサーチクエスチョン

• RQ1 既存手法よりもバッチAdaBoostに近い近似を達成できるオンラインブースティングアルゴリズムを導出できるか？
• RQ2 AdaBoostの弱識別器重みに対する正確なオンライン更新を維持する計算コストはどの程度で、実用的な近似によって軽減可能か？
• RQ3 提案されたオンライン近似は、OzaとRussellのアルゴリズムと比較して、近似誤差および一般化誤差の観点でどの程度の性能を示すか？
• RQ4 『オーダー』パラメータの影響は、近似精度と計算効率のトレードオフにどのように現れるか？
• RQ5 オフライン学習データとオンライン学習データを区別せずに、アルゴリズムを効果的に初期化および適応可能か？

主な発見

• 合成データセットでは、オーダー400のOCBがOzaとRussellのアルゴリズムよりも顕著に低い近似誤差を達成し、バッチAdaBoostへの忠実度が優れていることを示した。
• 正面顔データセットでは、オーダー400のOCBがOzaとRussellのアルゴリズムよりも高い平均AUC（受信器操作特性曲線下の面積）を達成し、優れた一般化性能を示した。
• MNISTデータセットでは、すべての数字でテスト誤差（例：0番の数字では0.31％ vs. Ozaの0.35％）と近似誤差（例：0.07％ vs. Ozaの0.10％）が低く抑えられ、OCBが優位であった。
• 顔分類器およびMNIST分類器の最適なオーダーは400であった。これは、近似精度と計算コストの両立を図る最適なバランスであった。
• 10個の並び替え済み訓練セットで一貫した結果が得られたことから、データの順序に強く依存しない堅牢な性能が示された。
• 高オーダーではトレードオフが観察された：近似誤差は初期には低下したが、オーダー400を超えると、グリーディー最小化が総誤差を最適に減少させられず、性能が劣化した。