[論文レビュー] Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms

Linwei Hu, Jie Chen+2 more|arXiv (Cornell University)|Jul 28, 2020

Explainable Artificial Intelligence (XAI)参考文献 6被引用数 5

ひとこと要約

この論文は、モデルベースの回帰木を用いて予測子空間を分割し、各ノードで解釈可能な主効果モデルを適合させることで、勾配ブースティングやランダムフォレストのような複雑な教師あり機械学習モデルの局所的解釈性を実現する代替モデルを提案する。予測性能を高く保ちつつ、特に高次元設定においても有効である。

ABSTRACT

Supervised Machine Learning (SML) algorithms, such as Gradient Boosting, Random Forest, and Neural Networks, have become popular in recent years due to their superior predictive performance over traditional statistical methods. However, their complexity makes the results hard to interpret without additional tools. There has been a lot of recent work in developing global and local diagnostics for interpreting SML models. In this paper, we propose a locally-interpretable model that takes the fitted ML response surface, partitions the predictor space using model-based regression trees, and fits interpretable main-effects models at each of the nodes. We adapt the algorithm to be efficient in dealing with high-dimensional predictors. While the main focus is on interpretability, the resulting surrogate model also has reasonably good predictive performance.

研究の動機と目的

• 勾配ブースティングやランダムフォレストのような複雑な教師あり機械学習モデルの解釈性の課題に対処すること。
• 予測精度を損なわせることなく局所的解釈性を提供する手法を開発すること。
• 実世界の応用で一般的な高次元の予測子空間を効率的に処理すること。
• モデルベースの分割と局所線形モデルを組み合わせることで、解釈可能かつ予測性能に優れた代替モデルを構築すること。

提案手法

• 代替モデリングの基盤として、適合された教師あり機械学習モデルの応答面を用いる。
• モデルベースの回帰木を用いて、応答行動が均一な領域を特定することで予測子空間を分割する。
• 各分割領域内では、元の機械学習モデルの局所的挙動を近似するため、解釈可能な主効果モデル（例：線形モデル）を適合させる。
• 木の構築中に特徴量選択または正則化を適用することで、高次元データに対応するようにアルゴリズムを調整する。
• 各分割における局所モデルを統合することで、局所的解釈性とグローバルな予測性能を両立する代替モデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 複雑な教師あり機械学習モデルに対して、局所的解釈性を提供する代替モデルを構築できるか？
• RQ2 このような代替モデルは、元のモデルと比較してどれほど高い予測性能を維持できるか？
• RQ3 この手法は高次元の予測子空間にも効果的にスケーリングできるか？
• RQ4 LIME や SHAP などのグローバル代替モデルと比較して、局所的解釈可能なモデルは適合度と明確さの点で優れているか？

主な発見

• 提案された代替モデルは高い予測精度を達成しており、ベンチマークデータセットにおいて元の教師あり機械学習モデルと同等の性能を示した。
• 局所的解釈性が顕著に向上し、各局所モデルが入力空間の特定の領域における特徴量の影響を明確かつ実行可能な洞察として提供した。
• モデルベースの分割を活用することで、各ノード内での次元削減が可能となり、高次元データの処理に効果的に対応した。
• 代替モデルにより、後処理の説明ツールに依存せずに、特定の入力領域におけるモデル挙動を信頼できる局所診断で理解できるようになった。