[論文レビュー] On the boosting ability of top-down decision tree learning algorithm for multiclass classification

Anna Choromanska, Krzysztof Choromański+1 more|arXiv (Cornell University)|May 17, 2016

Imbalanced Data Classification Techniques参考文献 7被引用数 4

ひとこと要約

本稿は、木の深さと正解率のバランスを最適化する multiclass 分類のトップダウン型意思決定木学習法である LOMtree アルゴリズムを分析する。この論文は、アルゴリズムのブースティング能力を示すために、その目的関数を最大化することで、標準的なエントロピー基準（シャノン・エントロピー、ジニ・エントロピー、および変更済みジニ・エントロピー）が低下することを示している。その際、これらの測度の強い凹性に依存する境界を用いる。特に、シャノン・エントロピーでは、クラス数に対して対数的依存性が顕著である。

ABSTRACT

We analyze the performance of the top-down multiclass classification algorithm for decision tree learning called LOMtree, recently proposed in the literature Choromanska and Langford (2014) for solving efficiently classification problems with very large number of classes. The algorithm online optimizes the objective function which simultaneously controls the depth of the tree and its statistical accuracy. We prove important properties of this objective and explore its connection to three well-known entropy-based decision tree objectives, i.e. Shannon entropy, Gini-entropy and its modified version, for which instead online optimization schemes were not yet developed. We show, via boosting-type guarantees, that maximizing the considered objective leads also to the reduction of all of these entropy-based objectives. The bounds we obtain critically depend on the strong-concavity properties of the entropy-based criteria, where the mildest dependence on the number of classes (only logarithmic) corresponds to the Shannon entropy.

研究の動機と目的

• LOMtree アルゴリズムの背後にある目的関数の理論的分析を、多クラス意思決定木学習の文脈で行う。
• LOMtree の目的関数と、よく知られたエントロピー基準（シャノン・エントロピー、ジニ・エントロピー、およびその変更版）との関連を確立する。
• LOMtree の目的関数を最大化することで、ブースティング型の保証に基づき、これらのエントロピー基準が低下することを示す。
• エントロピー測度の強い凹性の性質が、アルゴリズムの一般化境界に与える影響を調査する。
• 特に多クラスブースティングおよびエントロピー基準のオンライン最適化に関する先行研究を拡張し、理論的理解を深める。

提案手法

• ブースティングフレームワーク内での理論的分析を実施し、各木のノードで弱学習器が存在すると仮定する。
• 目的関数は、バランスの取れた分割による木の深さの制御と、誤差最小化による統計的精度の両方を同時に制御する。
• エントロピー基準の強い凹性の性質を活用して、LOMtree アルゴリズムの一般化境界を導出する。
• 主な境界は、再帰的積不等式と対数近似を用いて導出され、特にジニ・エントロピーおよび変更済みジニ・エントロピー項に注目する。
• 4つのベンチマークデータセット（MNIST、Isolet、Sector、ALOI）を用いた数値実験により理論的結果を検証する。
• アルゴリズムは、検証セットでハイパーパramータを最適化した確率的勾配降下法（SGD）を用いて Vowpal Wabbit に実装されている。

実験結果

リサーチクエスチョン

• RQ1 LOMtree の目的関数は、シャノン・エントロピー、ジニ・エントロピー、および変更済みジニ・エントロピーといった標準的なエントロピー基準とどのように関係しているか？
• RQ2 LOMtree の目的関数を最大化することで、エントロピー基準が低下する可能性があるか。もしそうならば、どのような理論的保証があるか？
• RQ3 一般化境界がクラス数に依存する関係、特にシャノン・エントロピーにおいてはどのような影響を及ぼすか？
• RQ4 エントロピー測度の強い凹性の性質が、多クラス設定におけるブースティングフレームワークの収束性と性能に与える影響は何か？
• RQ5 実験で観察されたように、変更済みジニ・エントロピーの収束が速いことから、よりタイトな境界を導出できるか？

主な発見

• LOMtree の目的関数を最大化することで、シャノン・エントロピー、ジニ・エントロピー、および変更済みジニ・エントロピーのすべてのエントロピー基準が、ブースティング型の保証に基づき低下する。
• シャノン・エントロピーの境界は、クラス数に対して対数的依存性を示しており、大規模な多クラス問題においてもスケーラビリティに優れていることが示唆される。
• ジニ・エントロピーおよび変更済みジニ・エントロピーに関しては、それぞれの基準の強い凹性に依存する境界が得られ、変更済みバージョンは実験的により速い収束を示している。
• 理論的分析により、目標誤差レベル α を達成するためには、分割数が (G₁/α)^(32/(η² log₂ e)) のスケールで増加することを示した。ここで G₁ は初期の目的関数値である。
• 数値実験により、テスト誤差がジニ・エントロピーの挙動をよく追従していることが確認された。一方、変更済みジニ・エントロピーは最も速く減少しており、よりタイトな理論的境界が得られる可能性がある。
• 最悪ケースの初期値は、それぞれシャノンでは G₁^e ≤ 2 ln k、ジニでは G₁^g ≤ 2(1−1/k)、変更済みジニでは G₁^g ≤ 2√(kC−1) である。これらは主定理の導出に用いられている。