[論文レビュー] SPLBoost: An Improved Robust Boosting Algorithm Based on Self-paced Learning

Kaidong Wang, Yao Wang+3 more|arXiv (Cornell University)|Jun 20, 2017

Face and Expression Recognition参考文献 1被引用数 6

ひとこと要約

本稿では、自己スケジューリング学習（SPL）をAdaBoostフレームワークに統合することで、ノイズが多いデータや外れ値に対してより頑健なSPLBoostという新しいブースティング手法を提案する。訓練サンプルの難易度に応じて動的に重みを割り当てることで、誤標識の影響を低減し、0～30％のラベルノイズが混入したUCIデータセットにおいて、AdaBoost、LogitBoost、および他の最先端手法と比較して優れた頑健性を示す。

ABSTRACT

It is known that Boosting can be interpreted as a gradient descent technique to minimize an underlying loss function. Specifically, the underlying loss being minimized by the traditional AdaBoost is the exponential loss, which is proved to be very sensitive to random noise/outliers. Therefore, several Boosting algorithms, e.g., LogitBoost and SavageBoost, have been proposed to improve the robustness of AdaBoost by replacing the exponential loss with some designed robust loss functions. In this work, we present a new way to robustify AdaBoost, i.e., incorporating the robust learning idea of Self-paced Learning (SPL) into Boosting framework. Specifically, we design a new robust Boosting algorithm based on SPL regime, i.e., SPLBoost, which can be easily implemented by slightly modifying off-the-shelf Boosting packages. Extensive experiments and a theoretical characterization are also carried out to illustrate the merits of the proposed SPLBoost.

研究の動機と目的

• 訓練データに外れ値やラベルノイズが含まれる場合に、AdaBoostの頑健性が著しく低下することを是正すること。
• ロス関数を直接変更することで頑健性を向上させようとするアプローチは、非凸最適化の課題を引き起こすことがあるため、その制限を克服すること。
• 自己スケジューリング学習（SPL）という代替的で頑健な学習パラダイムを検討し、ノイズが多い環境下でのブースティング性能の向上を図ること。
• 既存のAdaBoost実装に容易に統合可能な実用的でプラグイン互換性のあるブースティングアルゴリズムを開発すること。
• 多様なデータセットと異なるレベルのラベルノイズにおいて、SPLBoostの有効性と安定性を実証すること。

提案手法

• 標準的な再重み付け機構に代えて、SPLに基づくサンプル重み付けをAdaBoostフレームワークに統合する。
• サンプルの難易度を暗黙的にモデル化する潜在的な非凸目的関数を用い、初期段階では簡単なサンプルを優先的に学習する。
• 得られた最適化問題を解くために、収束性と安定性を保証する主要化最小化（MM）アルゴリズムを適用する。
• 重み付けスケジュールを制御するため、4種類のSP正則化項（ハードウェイト、線形ソフトウェイト、多項式ソフトウェイト（t=1.3）、多項式ソフトウェイト（t=4.0））を組み込む。
• サンプル重み付け戦略のみを変更することで、市販のAdaBoostパッケージとの後方互換性を維持する。
• 各アルゴリズムの反復回数やその他のハイパーパrameterをチューニングするため、5分割交差検証手順を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己スケジューリング学習は、AdaBoostフレームワークに効果的に統合可能であり、ラベルノイズに対する頑健性の向上に寄与するか？
• RQ2 ラベルノイズの増加に伴って、SPLBoostは既存の頑健ブースティング手法（例：LogitBoost、SavageBoost、RBoost）と比較してテスト誤差で優れているか？
• RQ3 SP正則化項の選択が、異なるデータセットにおけるSPLBoostの性能に顕著な影響を与えるか？
• RQ4 SPLBoostは、複数のデータセットとノイズレベルにおいて一貫して優れた順位付け性能を示すか？
• RQ5 潜在的な非凸目的関数に対して、SPLBoostと主要化最小化（MM）アルゴリズムとの理論的関係は何か？

主な発見

• SPLBoostは、0～30％のラベルノイズが混入する17のUCIデータセットすべてにおいて、AdaBoostを著しく上回る性能を示した。特に20～30％のノイズレベルで最大の性能差が観察された。
• 平均して、85の実験ケース（17データセット×5ノイズレベル）において、SPLBoostはテスト誤差率が最小となり、LogitBoost、SavageBoost、RBoost、RobustBoostをすべて上回った。
• 図5のランク分析では、70％のケースでSPLBoostが上位n位内（最良性能）にランクされたことから、一貫した優位性が示された。
• ハード、線形、下凸型、上凸型のSP正則化項の種類に関わらず、SPLBoostの性能に顕著な差は認められず、正則化項の選択に対して頑健であることが示された。
• 実験により、SPLBoostは30％のラベルノイズ下でも低テスト誤差を維持している一方、AdaBoostの誤差率は著しく上昇することが確認され、重度の汚染に対しても耐性があることが示された。
• 理論的分析により、SPLBoostが潜在的な非凸目的関数に対してMMアルゴリズムを適用したものと等価であることが示され、その頑健な挙動の背後にある強固な最適化的基盤が裏付けられた。