[論文レビュー] Approximation Trees: Statistical Stability in Model Distillation

Yichen Zhou, Zhengze Zhou+1 more|arXiv (Cornell University)|Aug 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 15

ひとこと要約

本稿では、解釈可能な機械学習における意思決定木の distillation を安定化する手法を提案する。大規模な擬似データセットにおける仮説検定を用いて、一貫した分割ルールを保証するとともに、ランダムフォレストのばらつきに基づく停止ルールを導入し、ノイズへの過学習を防ぐ。本手法は、分割の安定性と木の深さの両方を制御することで、信頼性があり再現可能な説明を実現する。CAD-MDDおよびCOMPASデータを用いた実証的検証により、安定した木の構築には、一般的に用いられるよりもはるかに多くの擬似データが必要であることが示された。

ABSTRACT

This paper examines the stability of learned explanations for black-box predictions via model distillation with decision trees. One approach to intelligibility in machine learning is to use an understandable `student' model to mimic the output of an accurate `teacher'. Here, we consider the use of regression trees as a student model, in which nodes of the tree can be used as `explanations' for particular predictions, and the whole structure of the tree can be used as a global representation of the resulting function. However, individual trees are sensitive to the particular data sets used to train them, and an interpretation of a student model may be suspect if small changes in the training data have a large effect on it. In this context, access to outcomes from a teacher helps to stabilize the greedy splitting strategy by generating a much larger corpus of training examples than was originally available. We develop tests to ensure that enough examples are generated at each split so that the same splitting rule would be chosen with high probability were the tree to be re trained. Further, we develop a stopping rule to indicate how deep the tree should be built based on recent results on the variability of Random Forests when these are used as the teacher. We provide concrete examples of these procedures on the CAD-MDD and COMPAS data sets.

研究の動機と目的

• 意思決定木の distillation における不安定性を解消する。特に、小さなデータの変更が木の構造や解釈を著しく変える問題を対処する。
• 異なる擬似データサンプルで再訓練しても、distillation 木における分割ルールが統計的に安定しており、再現可能であることを保証する。
• ランダムフォレストを教師モデルとして用い、その統計的性質を活用して、ノイズへの過学習を防ぐ停止ルールを構築する。
• ブラックボックスモデルの予測に対して、真の信号を反映した、信頼性があり解釈可能な説明を提供する。
• 実証的に、安定した木構造を実現するには、現在の distillation の実践で一般的に用いられるよりもはるかに多くの擬似データが必要であることを示す。

提案手法

• 元の特徴分布から、教師モデルの出力を応答変数として用い、カーネル密度推定を用いて大規模な合成的擬似データセットを生成する。
• 各分割において仮説検定フレームワークを適用し、選択された分割が他の代替案よりも有意にジニ不純度の低減効果が優れていることを確認することで、再訓練時における一貫性を確保する。
• 再訓練時に同じ分割が選ばれる確率を高める（例：95％）ために、ノードごとの擬似データサイズを制御する。この際、再サンプリングに基づくp値アプローチを用いる。
• 最近のランダムフォレスト予測のサンプリングばらつきに関する理論的結果を統合し、信号がノイズと区別できなくなる時点で木の成長を停止させる停止ルールを導出する。
• 各ノードに仮説検定からのp値を付加することで、分割の統計的信頼性を示し、解釈可能なモデル診断を可能にする。
• 特に、多数の候補分割が類似した性能を示す場合に計算コストを削減するため、影響度の高い分割に焦点を当てる適応的スクリーニングを導入する。

実験結果

リサーチクエスチョン

• RQ1 異なる擬似データサンプルで再訓練した際に、同じ分割ルールが高確率で選ばれるようにできるか？
• RQ2 競合する分割が非常に類似したジニ改善を示す場合、分割を安定化させるためにどの程度の擬似データポイントが必要か？
• RQ3 どの深さで distillation 樹木を停止すれば、サンプル固有のノイズを捉えるのではなく、真の背後にある信号を捉えることができるか？
• RQ4 ランダムフォレストの統計的性質を教師モデルとして用いることで、モデル distillation における木の深さの原理的停止ルールを導出できるか？
• RQ5 現在の distillation 実践では、訓練データの摂動に対して非常に敏感であるが、その結果として説明が不安定になる程度はどの程度か？

主な発見

• 木の1つの分割を安定化させるには、通常の実践をはるかに上回る最大5×10⁵個の擬似データポイントが必要となることがある。
• 仮説検定フレームワークにより、性能が近い分割であっても、再訓練時においても同じ分割が高確率で選ばれることが確認された。
• ランダムフォレストのばらつきに基づく停止ルールは、ノイズへの過学習を効果的に防ぎ、実データ上での5段階までの木においても意味のある構造が保持されていることから、有効であることが実証された。
• CAD-MDDおよびCOMPASデータを用いた実証的結果から、安定した分割と適切な深さを持つ木は、データのランダムな揺らぎではなく、真の信号を捉えていることが示された。
• 各ノードにp値を付加することで、分割の統計的信頼性を測る指標が得られ、説明の解釈可能性と信頼性が向上した。
• 本手法により、小さなデータ摂動に対する感度が高いため、多くの既存の distillation 手法が誤った説明を生み出している可能性があることが明らかになった。これは、形式的な安定性チェックの必要性を強調している。