[論文レビュー] Global Model Interpretation via Recursive Partitioning

Chengliang Yang, Anand Rangarajan+1 more|arXiv (Cornell University)|Feb 11, 2018

Machine Learning and Data Classification参考文献 30被引用数 20

ひとこと要約

本稿では、ブラックボックスモデルの局所的特徴寄与行列から、グローバルかつ人間が解釈可能な意思決定木を生成するための方法である、グローバル解釈による再帰的分割（GIRP）を提案する。特徴寄与の平均値の差を最大化するように入力空間を再帰的に分割することで、モデルの行動に高い忠実性を保ちつつ、コンactな解釈木を生成し、医療、ビジョン、NLPタスクにおけるモデル診断と知識発見を可能にする。

ABSTRACT

In this work, we propose a simple but effective method to interpret black-box machine learning models globally. That is, we use a compact binary tree, the interpretation tree, to explicitly represent the most important decision rules that are implicitly contained in the black-box machine learning models. This tree is learned from the contribution matrix which consists of the contributions of input variables to predicted scores for each single prediction. To generate the interpretation tree, a unified process recursively partitions the input variable space by maximizing the difference in the average contribution of the split variable between the divided spaces. We demonstrate the effectiveness of our method in diagnosing machine learning models on multiple tasks. Also, it is useful for new knowledge discovery as such insights are not easily identifiable when only looking at single predictions. In general, our work makes it easier and more efficient for human beings to understand machine learning models.

研究の動機と目的

• 機械学習における局所的解釈とグローバル的解釈のギャップ、特に複雑で高精度なモデルに対して解決を図ること。
• 予測性能を損なわせることなく、グローバルに適用可能な人間が理解可能な意思決定ルールをブラックボックスモデルから抽出する手法を開発すること。
• 局所的説明を統合して一貫性のあるグローバル構造を構築することで、効率的なモデル診断と新たな知識発見を可能にすること。
• 医療や経済学などのハイリスク分野における集団レベルの意思決定を支援するため、数百万件のデータサンプルにわたる一貫性のあるパターンを明らかにすること。
• 深層学習やアンサンブル手法を含む多様な機械学習モデルに適用可能なスケーラブルで統一されたフレームワークを提供すること。

提案手法

• 本手法は、各エントリが1つのデータサンプルに対する特徴の予測への寄与を表す寄与行列を入力として受ける。
• CARTに類似したアルゴリズムを用いて、子ノード間の平均特徴寄与の差を最大化するように入力空間を再帰的に分割する。
• 各分割で、全特徴と全可能な分割点を評価し、2つのサブセット間の平均寄与の絶対差を最大にする分割点を選択する。
• ノードサイズの最小値や分割品質の有意な向上がないなどの停止基準に達するまでプロセスを継続する。
• 得られる2分木は、解釈木と呼ばれるもので、全データセット全体におけるモデル行動を要約するグローバル意思決定ルールを符号化する。
• 特徴の組み合わせに依存する分割を許容することで、特徴間の相互作用や、サブグループごとの変数重要度の異質性を捉える。

実験結果

リサーチクエスチョン

• RQ1 多様なブラックボックスモデルの局所的特徴寄与行列から、グローバルかつ人間が読める意思決定木を構築できるか？
• RQ2 特徴寄与の再帰的分割が、複雑なモデルの真の行動を反映する意味的で一貫性のある意思決定ルールを明らかにできるか？
• RQ3 解釈木は、テキスト分類における過剰適合や誤ったパターン（例：'not' や 'but' といった無関係な語）への依存を検出できるか？
• RQ4 実世界の応用、例えばICU死亡予測において、入力特徴とアウトカムの間で以前に気づかれていなかった非自明な関係を同定できるか？
• RQ5 解釈木は、元のモデルの予測行動を保持しつつ、解釈可能であるという点で、どの程度の性能を示すか？

主な発見

• コンピュータビジョン分野では、解釈木により、深層残差ネットワークが意図した対象（例：シーン内の人物）に注目していることが正しく特定された。
• テキスト分類では、ランダムフォレストモデルがトピックを区別するために、関係のないまたは誤解を招く語（例：'not' や 'but'）に依存していることが木によって明らかになり、過剰適合の兆候が示された。
• ICU死亡予測において、1か月以内の「回復期および緩和ケア」が死亡率85.3％という強い予測要因であることが同定され、臨床的直感と一致した。
• 「1か月以内のその他の周産期 jaundice（黄疸）」が保護的要因であることも同定され、以前に強調されていなかった臨床的関連性が示唆された。
• 解釈木は、患者の異なるサブグループにおける特徴重要度の有意な変動を正しく捉えており、異質効果を反映していた。
• 本手法により、ICU死亡と関連する以前に報告されていなかった、あるいは軽視されていた合併症パターンの関係が明らかになった。