[論文レビュー] On the Robustness of Decision Tree Learning under Label Noise

Aritra Ghosh, Naresh Manwani+1 more|arXiv (Cornell University)|May 20, 2016

Machine Learning and Data Classification参考文献 16被引用数 9

ひとこと要約

本稿は、標本が十分に大きい条件下で、ジニ係数、誤分類誤差、およびツイング不純度測度に基づく意思決定木学習アルゴリズムが対称ラベルノイズに対してロバストであることを理論的に示している。ノイズありデータから学習された最適なスプリットルールが、ノイズなしデータからのものに収束することを証明し、高い確率でのロバスト性を保証するサンプル複雑性の上限を導出している。UCIデータセットを用いた実験的評価でも、意思決定木およびランダムフォレストが40%のノイズ下でも高い精度を維持していることが確認された。

ABSTRACT

In most practical problems of classifier learning, the training data suffers from the label noise. Hence, it is important to understand how robust is a learning algorithm to such label noise. This paper presents some theoretical analysis to show that many popular decision tree algorithms are robust to symmetric label noise under large sample size. We also present some sample complexity results which provide some bounds on the sample size for the robustness to hold with a high probability. Through extensive simulations we illustrate this robustness.

研究の動機と目的

• 実世界のデータセットで一般的に見られる対称ラベルノイズ下における意思決定木学習のロバスト性を調査すること。
• ノイズ環境下での意思決定木の経験的ロバスト性を理論的に裏付けること。
• 大標本仮定のもとで、高い確率でのロバスト性を保証するサンプル複雑性の境界を導出すること。
• 個々の意思決定木の性質に基づいて、ランダムフォレストのロバスト性分析を拡張すること。
• ラベルノイズの増加に伴うSVMと比較して、意思決定木の性能を経験的に評価すること。

提案手法

• 不純度に基づく意思決定木学習に焦点を当てた理論的分析を行い、対称ラベルノイズをi.i.d.で確率ηでラベルを反転させるものとしてモデル化する。
• 大標本極限において、ノイズありデータ下での最適スプリットルールがノイズなしデータ下のものと一致することを証明する。
• 集中不等式を用いて、ノイズ下でのスプリットルールの高確率収束を保証するサンプル複雑性の境界を導出する。
• ランダムフォレストへの応用において、アンサンブル内の各木が同じロバスト性特性を継承することを示す。
• UCIデータセットを用いて、ラベルノイズを0%から40%まで増加させた状況で意思決定木およびランダムフォレストの性能を経験的に評価する。
• 同一のノイズ条件下で、さまざまな損失関数（ハッチン、ロジスティック、多項式）を用いたSVMと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 標本が十分に大きい条件下で、意思決定木学習は対称ラベルノイズに対してロバストであるか？
• RQ2 高い確率でのロバスト性を保証する理論的サンプル複雑性の境界を導出できるか？
• RQ3 ジニ、誤分類、ツイングの不純度に基づくスプリットルールは、対称ラベルノイズ下でも最適スプリットを維持するか？
• RQ4 個々の意思決定木のロバスト性は、ランダムフォレストへと拡張可能か？
• RQ5 ラベルノイズの増加に伴い、意思決定木の性能はSVMと比べてどうなるか？

主な発見

• 標本サイズが十分に大きい場合、ジニ係数、誤分類、ツイング不純度測度を用いた意思決定木は、対称ラベルノイズ下でも同じ最適スプリットルールを維持する。
• 経験的結果から、スパムやマジックといったデータセットにおいて、40%のラベルノイズ下でも意思決定木およびランダムフォレストがノイズなし時の性能と1〜2%以内の差で維持されていることが示された。
• スパムデータセットにおいて、30%のノイズ下でランダムフォレストは91.68%の精度を示したのに対し、ジニベースの木は84.06%、SVMは77.45%に低下した。
• ドイツのデータセットでは、40%のノイズ下でランダムフォレストは約69%の精度を維持したが、ジニ木は65.25%、SVMは60.9%まで低下した。
• 理論的サンプル複雑性の境界から、ノードあたりの標本数がノイズレベルと信頼度に応じて導かれる閾値を超えると、ロバスト性が高確率で成立することが示された。
• SVMは対称ラベルノイズ下で顕著な性能低下を示し、複数のデータセットで40%のノイズ下で70%未満の精度を示したのに対し、意思決定木はその影響をほとんど受けていなかった。