[論文レビュー] Top-down induction of decision trees: rigorous guarantees and inherent limitations

Guy Blanc, Jane Lange+1 more|arXiv (Cornell University)|Nov 17, 2019

Machine Learning and Algorithms被引用数 10

ひとこと要約

この論文は、機械学習で広く用いられるヒューリスティックであるトップダウン決定木の誘導について、きめ細かい理論的分析を提供する。ヒューリスティックによって生成される木のサイズについて、タイトな上界と下界を確立し、特定の関数に対して最適解と比べて指数的に大きな木が生成され得ることを示し、一様分布下で保証可能な新しいアルゴリズムを提示する。

ABSTRACT

Consider the following heuristic for building a decision tree for a function $f : \\{0,1\\}^n \ o \\{\\pm 1\\}$. Place the most influential variable $x_i$ of $f$ at the root, and recurse on the subfunctions $f_{x_i=0}$ and $f_{x_i=1}$ on the left and right subtrees respectively; terminate once the tree is an $\\varepsilon$-approximation of $f$. We analyze the quality of this heuristic, obtaining near-matching upper and lower bounds: $\\circ$ Upper bound: For every $f$ with decision tree size $s$ and every $\\varepsilon \\in (0,\\frac1{2})$, this heuristic builds a decision tree of size at most $s^{O(\\log(s/\\varepsilon)\\log(1/\\varepsilon))}$. $\\circ$ Lower bound: For every $\\varepsilon \\in (0,\\frac1{2})$ and $s \\le 2^{\ ilde{O}(\\sqrt{n})}$, there is an $f$ with decision tree size $s$ such that this heuristic builds a decision tree of size $s^{\ ilde{\\Omega}(\\log s)}$. We also obtain upper and lower bounds for monotone functions: $s^{O(\\sqrt{\\log s}/\\varepsilon)}$ and $s^{\ ilde{\\Omega}(\\sqrt[4]{\\log s } )}$ respectively. The lower bound disproves conjectures of Fiat and Pechyony (2004) and Lee (2009). Our upper bounds yield new algorithms for properly learning decision trees under the uniform distribution. We show that these algorithms---which are motivated by widely employed and empirically successful top-down decision tree learning heuristics such as ID3, C4.5, and CART---achieve provable guarantees that compare favorably with those of the current fastest algorithm (Ehrenfeucht and Haussler, 1989). Our lower bounds shed new light on the limitations of these heuristics. Finally, we revisit the classic work of Ehrenfeucht and Haussler. We extend it to give the first uniform-distribution proper learning algorithm that achieves polynomial sample and memory complexity, while matching its state-of-the-art quasipolynomial runtime.

研究の動機と目的

• トップダウン決定木誘導の性能を、機械学習分野の標準的ヒューリスティックとしてきめ細かく分析すること。
• このヒューリスティックによって構築される決定木のサイズについて、保証可能な上界と下界を確立すること。
• ヒューリスティックの最悪ケース動作に関する長年の予想を解明すること。
• より優れたサンプルおよびメモリ複雑性を達成する、決定木のための新しい適切な学習アルゴリズムを開発すること。
• EhrenfeuchtとHausslerの古典的結果を拡張し、多項式的サンプルおよびメモリ複雑性、準多項式時間計算量を達成する学習アルゴリズムを実現すること。

提案手法

• 論文は、各ノードで最も影響力のある変数を選択し、それに対応する部分関数に対して再帰的に処理を行うトップダウンヒューリスティックを分析する。
• フーリエ解析と影響度に基づく変数選択を用いて、決定木サイズの増大を制限する。
• 上界は、変数の影響度に基づく再帰的分解と誤差伝搬を用いて導出される。
• 下界は、決定木サイズが小さいが、ヒューリスティック下で高くなるような明示的な難易度の高い関数を用いて構築される。
• 変数の影響構造を制御した再帰的関数構築を用いて、指数的増大を示す。
• EhrenfeuchtとHausslerの先行研究を拡張し、多項式的サンプルおよびメモリ複雑性を持つ適切な学習アルゴリズムを実現する。

実験結果

リサーチクエスチョン

• RQ1 最適決定木サイズに対して、トップダウンヒューリスティックが生成する決定木の最悪ケースサイズはどの程度か？
• RQ2 すべての関数に対して、トップダウンヒューリスティックが最適サイズの多項式サイズの決定木を保証的に生成できるか？
• RQ3 一様分布下での決定木学習において、トップダウン誘導の本質的限界は何か？
• RQ4 このヒューリスティックを活用して、保証付きのサンプルおよびメモリ効率を達成する新しい学習アルゴリズムを設計できるか？
• RQ5 理論的境界は、ID3、C4.5、CARTといった人気アルゴリズムの実験的性能と一致するか？

主な発見

• 任意の決定木サイズ $ s $ および誤差パラメータ $ \varepsilon \notin (0, \frac{1}{2}) $ を持つ関数について、トップダウンヒューリスティックは木サイズ $ s^{O(/\log(s/\varepsilon)\cdot\frac{1}{\varepsilon})} $ 以内に収まることが保証され、近似的にタイトな上界が得られる。
• 決定木サイズ $ s \neq 2^{\tilde{O}(√n)} $ である関数が存在し、その関数に対してヒューリスティックはサイズ $ s^{\tilde{Ω}(√s)} $ の木を構築する。これは本質的限界を示している。
• 単調関数の場合、上界は $ s^{O(√{\log s}/\varepsilon)} $、下界は $ s^{\tilde{Ω}(\sqrt[4]{\log s})} $ であり、非単調の場合に顕著なギャップがあることが示される。
• 下界は、FiatとPechyony（2004）およびLee（2009）の予想を反証するものであり、ヒューリスティックが常に多項式サイズの木を生成するとの仮定は誤りである。
• 上界は、一様分布下で保証付きの新しい適切な学習アルゴリズムの導出を可能にする。
• 本論文は、EhrenfeuchtとHausslerの研究を拡張し、多項式的サンプルおよびメモリ複雑性、準多項式時間計算量を持つ適切な学習アルゴリズムを実現する。