[論文レビュー] Learning Binary Decision Trees by Argmin Differentiation

Valentina Zantedeschi, Matt J. Kusner+1 more|arXiv (Cornell University)|Oct 9, 2020

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、argmin微分を用いた微分可能アプローチを提案し、勾配降下法による木構造と分割パラメータのエンドツーエンド学習を可能にした。この手法は、複数のテーブルベンチマークで最先端の性能を達成し、CART や CART-UMD よりも顕著に高い精度と誤差低減効果を示したが、微分可能アーキテクチャと最適化プロセスの複雑さのため、長時間の学習を要する。

ABSTRACT

We address the problem of learning binary decision trees that partition data for some downstream task. We propose to learn discrete parameters (i.e., for tree traversals and node pruning) and continuous parameters (i.e., for tree split functions and prediction functions) simultaneously using argmin differentiation. We do so by sparsely relaxing a mixed-integer program for the discrete parameters, to allow gradients to pass through the program to continuous parameters. We derive customized algorithms to efficiently compute the forward and backward passes. This means that our tree learning procedure can be used as an (implicit) layer in arbitrary deep networks, and can be optimized with arbitrary loss functions. We demonstrate that our approach produces binary trees that are competitive with existing single tree and ensemble approaches, in both supervised and unsupervised settings. Further, apart from greedy approaches (which do not have competitive accuracies), our method is faster to train than all other tree-learning baselines we compare with. The code for reproducing the results is available at https://github.com/vzantedeschi/LatentTrees.

研究の動機と目的

• 従来、離散的決定のため微分不能とされるバイナリーディシジョンツリーの勾配ベース最適化によるエンドツーエンド学習の課題を解決すること。
• 分割意思決定におけるargmin演算の微分可能リラクゼーションを通じて、複雑な非線形分割の学習を可能にすること。
• 等単調制約と二乗正則化を組み合わせた微分可能最適化問題としてのツリー学習の定式化により、テーブルデータセットにおける一般化性能と性能の向上を図ること。
• CART や他のグリーディで微分不能な分割ヒューリスティクスに依存する従来のツリーインダクション手法に対するスケーラブルで微分可能な代替手法を提供すること。

提案手法

• 本手法は、サンプルのツリー内パスを分割スコアのargmin演算として定式化し、暗黙の微分を用いてツリー構造を介したバックプロパゲーションを可能にした。
• 同様に、タイブレーキングのための小さな定数εを用いたargmin関数の微分可能リラクゼーションを導入し、分割スコアがゼロであっても勾配が伝搬可能であることを保証した。
• パス確率の単調性制約を強制するために等単調最適化を用い、学習の安定性と一般化性能を向上させた。
• 過学習を防ぎ、最適化収束を改善するために、分割スコアに二乗正則化項を適用した。
• 最終ヘッドネットワーク $ f_{oldsymbol{ heta}} $ をツリー構造と同時に学習するため、確率的勾配降下法を用いてモデルを訓練した。
• ELU などの活性化関数を用いることで、非線形の斜め分割（oblique splits）を可能にし、複雑な軸に沿わない意思決定境界の学習が可能になった。

実験結果

リサーチクエスチョン

• RQ1 ツリー内パスで次のノードを選択するargmin演算を微分することで、勾配降下法を用いたバイナリーディシジョンツリーのエンドツーエンド学習が可能か？
• RQ2 標準的なテーブルベンチマークデータセットにおいて、微分可能ディシジョンツリーの性能は、従来のCARTや無制限CART（CART-UMD）と比べてどうか？
• RQ3 微分可能ツリーアーキテクチャは、標準的なツリーインダクション手法と比較して、一般化性能と誤差率にどの程度向上効果をもたらすか？
• RQ4 ネットワークの深さや正則化などのハイパーパrameterが、モデルの性能と学習時間に与える影響は何か？
• RQ5 本手法は非線形で斜めの分割を効果的に学習できるか？また、軸に沿った分割に依存する手法と比較してどうか？

主な発見

• HIGGS データセットでは、本手法がテスト誤差 $ 0.2201 \times 10^{-3} $ を達成し、CART（$ 0.3220 \times 10^{-3} $）や CART-UMD（$ 0.3430 \times 10^{-3} $）を顕著に上回った。
• MICROSOFT データセットでは、CART の誤差 $ 0.3220 \times 10^{-3} $ を $ 0.2201 \times 10^{-3} $ まで低減し、全データセットで一貫した改善効果を示した。
• HIGGS では、微分可能ツリーが $ 77.9\% $ のマイクロF1スコアを達成したのに対し、CART と CART-UMD はそれぞれ $ 97.4\text{ and }96.0\text{\%} $ であった。これは、高い学習コストを伴いながらも、優れた一般化性能を示している。
• HIGGS では $ 18,642 $ 秒という著しい長い学習時間がかかっているが、これは微分可能ツリー最適化の複雑さに起因する。しかし、より優れたテスト性能がそれを補っている。
• 学習中に約 $ 45\text{--}55\text{\%} $ のノードがアクティブであることが確認され、勾配の効果的な伝搬とモデルの安定性が裏付けられた。
• COVTYPE の分類困難なクラス（例：クラス4と6）に対しても、良好な一般化性能を示しており、ラベルノイズやデータの複雑さに対してもロバストであることが示された。