[論文レビュー] Interpreting Models via Single Tree Approximation

Yichen Zhou, Giles Hooker|arXiv (Cornell University)|Oct 27, 2016

Bayesian Modeling and Causal Inference参考文献 7被引用数 40

ひとこと要約

本稿では、ランダムフォレストのような複雑な機械学習モデルを解釈するために、モデルの予測から擬似サンプルを生成し、その行動を模倣する意思決定木を構築する単一木近似（STA）手法を提案する。この手法は、ジニ指数の差に対する仮説検定を用いて分割を安定化させ、大規模な擬似サンプルサイズであっても高い予測精度と構造的一致性を達成する。シミュレートされたおよび実際のうつ病スクリーニングデータを用いた実験でその有効性が示された。

ABSTRACT

We propose a procedure to build a decision tree which approximates the performance of complex machine learning models. This single approximation tree can be used to interpret and simplify the predicting pattern of random forests (RFs) and other models. The use of a tree structure is particularly relevant in medical questionnaires where it enables an adaptive shortening of the questionnaire, reducing response burden. We study the asymptotic behavior of splits and introduce an improved splitting method designed to stabilize tree structure. Empirical studies on both simulation and real data sets illustrate that our method can simultaneously achieve high approximation power and stability.

研究の動機と目的

• ランダムフォレストのような高精度だが解釈が難しい複雑なモデルにおける解釈性と精度のトレードオフを解消すること。
• 複雑なモデルの予測行動を再現しつつ意思決定経路を簡素化する、安定した単一意思決定木近似を開発すること。
• 擬似例のランダムサンプリングに起因するばらつきを制御することで、近似木の構造的安定性を確保すること。
• 最小限で高効果な質問を同定することで、医療現場における適応的で短いアンケートを可能にすること。
• オракルベース学習を用いて、ランダムフォレストに限らずあらゆるブラックボックス予測器への解釈の適用を拡張すること。

提案手法

• 近似木の訓練データとして使用するため、元のモデルの予測から多数の擬似サンプルを生成する。
• 候補となる分割間の実証的ジニ指数の差に対する仮説検定を用い、一方の分割が他方よりも顕著に優れているかどうかを判断する。
• 検定の有意水準αを制御することで、アルゴリズムの異なる実行回数における分割意思決定のばらつきを低減し、安定化を図る。
• 木の構築中にノードごとに再帰的にこの検定を適用し、一貫性があり信頼性の高い分割選択を保証する。
• サンプルサイズと有意水準に基づく停止ルールを適用し、過学習を防ぎ、ジニ指数の安定的推定を確保する。
• 擬似サンプル上で訓練されたCARTに類似したアルゴリズムを用いて近似木を構築し、分割選択を仮説検定がガイドする。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストのような複雑なモデルの予測を正確に近似できる単一の意思決定木を構築できるか？
• RQ2 擬似例のランダムサンプリングに起因するばらつきがあっても、近似木の構造の安定性をどのように確保できるか？
• RQ3 ジニ指数の推定と安定的な分割意思決定を実現するためには、どの程度のサンプルサイズが必要か？
• RQ4 近似木は、予測精度を維持しつつ、医療アンケートの回答負担をどの程度軽減できるか？
• RQ5 オラクル学習設定において、ジニ指数差の仮説検定が木の構築を効果的に安定化できるか？

主な発見

• 1,000,000個の擬似サンプルを用いた場合、92/100の木が同じ上位4層の構造を示し、構造的安定性を達成した。
• 第5層まで構築した近似木は、元のランダムフォレストと分類結果で90%の一致を示した。
• RFと近似木の予測クラス確率のL¹-ノルム差は0.1であった。これは強い予測適合性を示している。
• 100,000個を超える擬似サンプルを増やすと、精度向上の効果が次第に小さくなり、100,000個で十分な安定的性能が得られると示唆された。
• 有意水準α = 0.1が分割ごとの安定性を効果的に制御し、Nps = 1,000,000の条件下で100個の木すべてが同一のルートおよび第2層の分割を出力した。
• 本手法により、元のRFモデルと90%の整合性を保ちながら、88問のうつ病スクリーニングアンケートを4問の適応的ツールに短縮できた。