[論文レビュー] Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers

Abraham J. Wyner, Matthew Olson+2 more|arXiv (Cornell University)|Apr 28, 2015

Machine Learning and Data Classification参考文献 18被引用数 59

ひとこと要約

本稿は、AdaBoostおよびランダムフォレストが正則化や早期停止がなくても、自己平均化メカニズムを通じて訓練データを完璧に補間できる能力のおかげで成功している、という主張を行う。両者を補間可能で自己平均化可能な分類器として再定式化することで、深木が局所的なフィットを生成し、アンサンブル平均化によって滑らかになる仕組みを提示。従来の過学習を引き起こすとされる補間の概念に反し、正則化や早期停止がなくても両手法が良好に一般化することを示している。

ABSTRACT

There is a large literature explaining why AdaBoost is a successful classifier. The literature on AdaBoost focuses on classifier margins and boosting's interpretation as the optimization of an exponential likelihood function. These existing explanations, however, have been pointed out to be incomplete. A random forest is another popular ensemble method for which there is substantially less explanation in the literature. We introduce a novel perspective on AdaBoost and random forests that proposes that the two algorithms work for similar reasons. While both classifiers achieve similar predictive accuracy, random forests cannot be conceived as a direct optimization procedure. Rather, random forests is a self-averaging, interpolating algorithm which creates what we denote as a "spikey-smooth" classifier, and we view AdaBoost in the same light. We conjecture that both AdaBoost and random forests succeed because of this mechanism. We provide a number of examples and some theoretical justification to support this explanation. In the process, we question the conventional wisdom that suggests that boosting algorithms for classification require regularization or early stopping and should be limited to low complexity classes of learners, such as decision stumps. We conclude that boosting should be used like random forests: with large decision trees and without direct regularization or early stopping.

研究の動機と目的

• 補間が分類モデルで過学習を引き起こすという従来の統計的信念に挑戦すること。
• AdaBoostとランダムフォレストの成功を、共通の性質たる補間可能で自己平均化可能な分類器という観点から統一的に説明すること。
• 深木が使用される状況では、AdaBoostにおける正則化や早期停止が不要であるという主張をし、長年の慣習を疑問視すること。
• 実験的に、両手法がラベルノイズに対して耐性があることを示し、補間と平均化による耐性の仕組みを裏付けること。
• AdaBoostをマージン最適化や損失最小化アルゴリズムではなく、反復的な局所的フィットによって滑らかな意思決定境界を達成する『フォレスト・オブ・フォレスト』として再定式化すること。

提案手法

• 訓練データのすべての点を誤差なしに正確にフィットするアルゴリズムを『補間可能分類器』と定義する。
• AdaBoostを重み付きの深木のアンサンブルとして定式化し、各木が訓練データを補間する。これにより『フォレスト・オブ・フォレスト』が形成される。
• 『スパイクスムーズ』分類器の概念を導入：決定境界が複数の木による自己平均化によって滑らかになる補間可能なモデル。
• 複数のUCIデータセットに5%のラベルノイズを加えた実験を通じて、AdaBoost、ランダムフォレスト、および1-NNの一般化誤差の増加を比較する。
• ノイズ下での誤差率の差の統計的有意性を評価するために、2標本t検定を適用する。
• 反復的フィットを通じてAdaBoostの意思決定境界挙動を分析し、誤分類された点の周囲で後続の反復が局所的フィットを精緻化するが、過学習を引き起こさないことを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜAdaBoostおよびランダムフォレストは、訓練データを完璧に補間しているにもかかわらず、良好に一般化するのか？
• RQ2 AdaBoostが最適化に基づく起源を持つにもかかわらず、その成功はランダムフォレストと同一のメカニズムで説明可能か？
• RQ3 自己平均化を伴う補間は、古典的統計的直観とは反して、より良好な一般化をもたらすのか？
• RQ4 正則化や早期停止はAdaBoostに必要か、それとも深木と全反復を用いても使用可能か？
• RQ5 AdaBoostおよびランダムフォレストは1-NNと比べてラベルノイズに対してどれほど耐性があり、これは一般化メカニズムに何を示唆するのか？

主な発見

• 5%の訓練ラベルを反転させた場合、AdaBoostはHabermanデータセットで誤差がたった0.13%増加し、ランダムフォレストは0.52%増加するなど、両者ともテスト誤差の増加が最小限に抑えられている。
• breast_cancerデータセットでは、AdaBoostの誤差が0.20%増加、ランダムフォレストが0.39%増加したが、1-NNの2.29%増加（p < 0.01）よりも顕著に低い。
• votingデータセットでは、AdaBoostの誤差が1.63%増加、ランダムフォレストが0.30%増加したが、1-NNの2.71%増加（p < 0.05）よりも顕著に優れている。
• Pimaデータセットでは、両手法とも1-NNの1.75%増加よりも顕著に小さい誤差増加を示し、AdaBoost（0.56%）、ランダムフォレスト（0.45%）ともにp < 0.01であった。
• ドイツ信用データセットでは、ノイズ下でのモデル間で有意差は認められなかったが、AdaBoostおよびランダムフォレストは1-NNよりも誤差増加が小さく、依然として優位であった。
• これらの結果は、両手法が自己平均化と補間の性質のおかげでラベルノイズに対して耐性があるという仮説を支持しており、マージン最大化や損失最小化とは無関係である。