[論文レビュー] Deep Neural Decision Trees

Yongxin Yang, Irene Garcia Morillo+1 more|arXiv (Cornell University)|Jun 19, 2018

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 104

ひとこと要約

DNDTは決定木のニューラルネットワーク実装を提示し、勾配ベースの訓練とエンドツーエンド学習を可能にしつつ、木構造の解釈性を保つ。

ABSTRACT

Deep neural networks have been proven powerful at processing perceptual data, such as images and audio. However for tabular data, tree-based models are more popular. A nice property of tree-based models is their natural interpretability. In this work, we present Deep Neural Decision Trees (DNDT) -- tree models realised by neural networks. A DNDT is intrinsically interpretable, as it is a tree. Yet as it is also a neural network (NN), it can be easily implemented in NN toolkits, and trained with gradient descent rather than greedy splitting. We evaluate DNDT on several tabular datasets, verify its efficacy, and investigate similarities and differences between DNDT and vanilla decision trees. Interestingly, DNDT self-prunes at both split and feature-level.

研究の動機と目的

• 倫理性と安全性が重要な領域を特に対象に、予測モデルの解釈性を動機づける。
• 解釈性と勾配ベースの訓練を両立させるため、ニューラルネットワークと決定木を組み合わせたモデルを導入する。
• 標準的な NN ツールキットで木のようなモデルの実装と統合を容易にする。
• DNDT がバックプロパゲーションで学習でき、ミニバッチおよびGPU加速をサポートすることを示す。

提案手法

• 各特徴量の学習可能なカットポイントを介して微分可能なビン境界を作成するソフトビニング関数を用いる。
• 特徴量ビニング出力のKronecker積を用いて最終リーフノードを特定することで木を構築する。
• 各リーフに線形分類器を取り付けて最終予測を生成する。
• すべてのパラメータを単一パスで確率的勾配降下法でエンドツーエンドに訓練する。
• 訓練中のハードなリーフ割り当てのために温度ベースの平滑化または Gumbel-Softmax を任意で適用する。
• Kronecker積によるスケーラビリティの限界を議論し、実務的な回避策としてサブスペースエンサンブルを提案する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークに着想を得たアーキテクチャが、本質的に解釈可能な決定木を実現できるか。
• RQ2 分割決定とリーフ分類器の両方をエンドツーエンドでSGD訓練すると、表形式データで競争力のある性能を発揮するか。
• RQ3 精度と解釈性の点で、DNDTは従来の決定木と素のニューラルネットワークとどのように比較されるか。
• RQ4 DNDT学習中に現れる自己正則化効果（例：アクティブなカットポイントと特徴量）とは何か。
• RQ5 GPU加速と特徴量サブスペースエンサンブルはスケーラビリティの課題を緩和できるか。

主な発見

• DNDTは木として解釈可能でありつつ、勾配に基づく最適化を可能にするニューラルネットワークとして実装されている。
• DNDTはSGDでエンドツーエンドに訓練でき、ミニバッチおよびGPU加速をサポートする。
• DNDTは訓練中にアクティブなカットポイントと未使用特徴量の数を減らすことで自己剪定する傾向がある。
• 14個のタブラー型データセットのセットで、DNDTはしばしば素のニューラルネットワークと同等またはわずかに上回り、データによっては従来のDTの性能に近づくか上回ることがある。
• ランダムな特徴空間上で訓練された複数の DNDT 木を使用すると、高次元データセットのスケーラビリティが向上する。
• DNDTはランごとの特徴量の使用と排除を通じて特徴量の重要度を分析でき、意思決定を推進する特徴量を評価する手段を提供する。