[論文レビュー] Decision trees as partitioning machines to characterize their generalization properties

Jean-Samuel Leboeuf, Frédéric LeBlanc+1 more|arXiv (Cornell University)|Oct 14, 2020

Machine Learning and Data Classification参考文献 31被引用数 4

ひとこと要約

本稿では、実数特徴を持つ決定木の一般化特性を分析するための新しい枠組みとして、分割関数を導入する。決定スタンプの正確なVC次元は、2ℓ ≥ C(d, ⌊d/2⌋) を満たす最大の整数 d として導出され、内部ノードが N 個の二分木のVC次元に対しては O(N log(Nℓ)) の上界が確立され、交差検証を必要とせずに CART よりも優れた性能を示す新しい prune アルゴリズムの開発が可能になる。

ABSTRACT

Decision trees are popular machine learning models that are simple to build and easy to interpret. Even though algorithms to learn decision trees date back to almost 50 years, key properties affecting their generalization error are still weakly bounded. Hence, we revisit binary decision trees on real-valued features from the perspective of partitions of the data. We introduce the notion of partitioning function, and we relate it to the growth function and to the VC dimension. Using this new concept, we are able to find the exact VC dimension of decision stumps, which is given by the largest integer $d$ such that $2\ell \ge \binom{d}{\left\lfloor\frac{d}{2} ight floor}$, where $\ell$ is the number of real-valued features. We provide a recursive expression to bound the partitioning functions, resulting in a upper bound on the growth function of any decision tree structure. This allows us to show that the VC dimension of a binary tree structure with $N$ internal nodes is of order $N \log(N\ell)$. Finally, we elaborate a pruning algorithm based on these results that performs better than the CART algorithm on a number of datasets, with the advantage that no cross-validation is required.

研究の動機と目的

• 実数特徴を持つ二分決定木のVC次元および成長関数に対するタイトな上界の欠如に対処すること。
• 新たな概念「分割関数」を用いて、決定木における一般化誤差の理論的特徴付けを行うこと。
• 実数特徴を持つ決定スタンプの正確なVC次元を導出することにより、以前未知であった境界を解消すること。
• 分割関数フレームワークを一般二分木構造へ拡張し、そのVC次元の漸近的上界を導出すること。
• 理論的境界に基づく prune アルゴリズムを開発し、交差検証を必要とせずに CART よりも優れた性能を発揮すること。

提案手法

• 実数特徴に対して、決定木構造が誘導する異なるデータパーティションの数を測る指標として分割関数を導入する。
• 分割関数を成長関数およびVC次元と関連づけ、一般化誤差の理論的分析を可能にする。
• グラフ理論的手法を用いて、決定スタンプの正確なVC次元を、ℓ 個の特徴をもつとき、2ℓ ≥ C(d, ⌊d/2⌋) を満たす最大の d として導出する。
• 一般二分木構造における分割関数の再帰的上界を構築し、内部ノードが N 個の木に対してVC次元が O(N log(Nℓ)) の上界に達することを導出する。
• 導出されたVC次元の境界に基づく prune アルゴリズムを提案し、交差検証の代わりに理論的リスク境界を用いる。
• サンプル圧縮およびVCに基づく一般化境界を用いて、高いテスト精度を維持したまま木の prune をガイドする。

実験結果

リサーチクエスチョン

• RQ1 ℓ 個の実数特徴から構築された決定スタンプの正確なVC次元は何か？
• RQ2 分割関数は、一般二分決定木構造の成長関数およびVC次元をどのように制限できるか？
• RQ3 内部ノードが N 個、特徴が ℓ 個の実数特徴を持つ二分決定木のVC次元の漸近的挙動は何か？
• RQ4 VC次元の理論的境界を活用して、交差検証を必要とせずに CART よりも優れた性能を示す prune アルゴリズムを設計できるか？
• RQ5 提案手法の性能および効率は、多様なデータセットにおいて CART と比較してどうなるか？

主な発見

• ℓ 個の実数特徴を持つ決定スタンプの正確なVC次元は、2ℓ ≥ C(d, ⌊d/2⌋) を満たす最大の整数 d であり、以前未知であった境界が解消された。
• 内部ノードが N 個、実数特徴が ℓ 個の二分決定木のVC次元は O(N log(Nℓ)) であり、タイトな漸近的上界を提供する。
• 理論的VC境界に基づく提案された prune アルゴリズムは、11 個のデータセットのうち 10 個で CART よりも高いテスト精度を達成した。対象データセットには Ionosphere, Iris, Parkinson, Spambase が含まれる。
• 新しい prune 法は、葉の数および木の高さを削減しながらも、テスト精度を維持または向上させ、大規模データセットでは CART よりもはるかに高速な実行時間を達成する。
• Yeast や Planning Relax のようなデータセットでは、CART が交差検証の分散が高いため過学習を起こすが、本手法は CART よりも優れた一般化性能を示す。
• 本手法が計算する境界（例：Yeast では 22.3 ± 0.3）は一般化性能と相関しており、交差検証を必要とせずに prune をガイドするために使用される。