[論文レビュー] Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness

Jiawang Bai, Yiming Li+3 more|arXiv (Cornell University)|Mar 14, 2019

Time Series Analysis and Forecasting参考文献 13被引用数 13

ひとこと要約

本稿では、教師モデルからのソフトラベルを用いて意思決定木を強化する知識蒸留ベースの手法であるRectified Decision Trees (ReDT)を提案する。この手法により、バックプロパゲーションを必要としないまま、性能の向上、モデルサイズの小型化、完全な解釈可能性を実現する。ReDTは、標準的な意思決定木よりも優れた圧縮性能と実験的妥当性を達成しながらも、特徴量の寄与度による可視化により高い解釈可能性を維持する。

ABSTRACT

How to obtain a model with good interpretability and performance has always been an important research topic. In this paper, we propose rectified decision trees (ReDT), a knowledge distillation based decision trees rectification with high interpretability, small model size, and empirical soundness. Specifically, we extend the impurity calculation and the pure ending condition of the classical decision tree to propose a decision tree extension that allows the use of soft labels generated by a well-trained teacher model in training and prediction process. It is worth noting that for the acquisition of soft labels, we propose a new multiple cross-validation based method to reduce the effects of randomness and overfitting. These approaches ensure that ReDT retains excellent interpretability and even achieves fewer nodes than the decision tree in the aspect of compression while having relatively good performance. Besides, in contrast to traditional knowledge distillation, back propagation of the student model is not necessarily required in ReDT, which is an attempt of a new knowledge distillation approach. Extensive experiments are conducted, which demonstrates the superiority of ReDT in interpretability, compression, and empirical soundness.

研究の動機と目的

• 機械学習モデル、特に木ベースおよび深層学習モデルにおける解釈可能性と性能のトレードオフを解消すること。
• 意思決定木の解釈可能性を維持しつつ、性能とモデル圧縮を向上させる手法を開発すること。
• 学生モデルにおけるバックプロパゲーションを不要とする、新規なバックプロパゲーションフリーな蒸留フレームワークを導入することで、知識蒸留の必要性を排除すること。
• 複数の交差検証を用いた手法により、ソフトラベル取得における過学習とランダムネスを低減すること。

提案手法

• 不純度計算において、ハードラベルをハードラベルとソフトラベルの重み付き混合に置き換えることで、古典的手法の意思決定木構築を拡張する。
• 純粋なノードの停止条件を維持するため、最大ソフトラベル確率に基づく擬似カテゴリを導入する。
• ハードラベルとソフトラベルの寄与度をバランスさせるためのソフトラベル混合係数 α を用い、モデルサイズと一般化性能の制御を可能にする。
• 複数の交差検証を用いて、安定的でノイズの少ないソフトラベルを生成し、過学習とランダムネスを低減する。
• 学生モデル（ReDT）がバックプロパゲーションを必要としないという点で、従来の知識蒸留とは異なる蒸留フレームワークを設計する。
• 特徴量の寄与度（例：MNISTにおける重要なピクセル）を用いて、意思決定パスの可視化と解釈可能性の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 教師モデルからのソフトラベルを活用することで、意思決定木が解釈可能性を維持したまま、性能と圧縮性能を向上させられるか？
• RQ2 バックプロパゲーションを学生モデルで必要としないように、知識蒸留を古典的手法の意思決定木に適応できるか？
• RQ3 ソフトラベル混合係数 α がモデルサイズ、正確性、一般化性能に与える影響は何か？
• RQ4 複数の交差検証を用いることで、蒸留におけるソフトラベル取得の耐性性と信頼性が向上するか？
• RQ5 ReDTは、解釈可能性と実験的妥当性の観点から、標準的な意思決定木をどの程度上回るか？

主な発見

• ReDTは、すべてのデータセットにおいて、圧縮率（Node(ReDT)/Node(DT)）が1未満となることから、標準的な意思決定木よりもモデルサイズが小さくなる。
• ソフトラベル混合係数 α が小さくなるほど ReDT のモデルサイズが減少し、ソフトラベルに依存度が高いほど木がよりコンactにまとまることが示された。
• ReDTは優れた実験的妥当性を示し、ランダムフォレストやGBDTなどの教師モデルと同等の性能を達成しながらも、高い解釈可能性を維持している。
• MNISTにおけるキーピクセル可視化による特徴量の寄与度により、ReDTの意思決定パスが意味的に意味のあるもので、非常に解釈可能であることが示された。
• ソフトラベル取得のための複数交差検証手法により、ランダムネスと過学習が低減され、蒸留の安定性と信頼性が向上した。
• ReDTは、学生モデルにおけるバックプロパゲーションを一切不要としない古典的手法の意思決定木における知識蒸留を実現する最初のフレームワークであり、新規で効率的な蒸留手法を提供する。