[論文レビュー] REPID: Regional Effect Plots with implicit Interaction Detection

Julia Herbinger, Bernd Bischl+1 more|arXiv (Cornell University)|Feb 15, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

REPIDは、決定木を用いて特徴空間を解釈可能なサブグループに分割することで、特徴の相互作用を暗黙的に検出・定量するモデルに依存しないフレームワークを導入する。グローバルな解釈において集約バイアスを低減し、カリフォルニアの住宅価格データや糖尿病データなどのシミュレーションおよび実世界のデータセットにおいて、優れた相互作用検出および可視化を実現する。

ABSTRACT

Machine learning models can automatically learn complex relationships, such as non-linear and interaction effects. Interpretable machine learning methods such as partial dependence plots visualize marginal feature effects but may lead to misleading interpretations when feature interactions are present. Hence, employing additional methods that can detect and measure the strength of interactions is paramount to better understand the inner workings of machine learning models. We demonstrate several drawbacks of existing global interaction detection approaches, characterize them theoretically, and evaluate them empirically. Furthermore, we introduce regional effect plots with implicit interaction detection, a novel framework to detect interactions between a feature of interest and other features. The framework also quantifies the strength of interactions and provides interpretable and distinct regions in which feature effects can be interpreted more reliably, as they are less confounded by interactions. We prove the theoretical eligibility of our method and show its applicability on various simulation and real-world examples.

研究の動機と目的

• 部分的依存プロットのようなグローバル解釈手法における集約バイアスを是正すること。特に、相互作用が存在する場合に特徴効果が歪められる可能性があるためである。
• 特徴空間内の解釈可能なサブグループを特定し、それらの領域で特徴効果が相互作用の影響をあまり受けにくくする手法を開発すること。
• 注目特徴と他の特徴間の相互作用強度を定量することにより、相互作用の重要度順にランク付け可能にすること。
• 局所的な解釈（サブグループによる）とグローバルなインサイトを統合し、局所的およびグローバルな解釈手法のバランスの取れたアプローチを提供すること。
• 複雑な機械学習モデルにおける相互作用の検出および可視化のための理論的根拠があり、再現可能であるフレームワークを提供すること。

提案手法

• 本手法は、注目特徴とその潜在的相互作用に基づき、特徴空間を明確で解釈可能なサブグループに分割するための決定木を用いる。
• 各サブグループ内で、地域的効果プロット（REPs）を計算し、注目特徴の周辺効果を可視化することで、相互作用による混同を最小限に抑える。
• サブグループ間での予測の分散分解に基づき、注目特徴と他の特徴間の相互作用強度を定量する新しい相互作用検出指標を提案する。
• 本手法はモデルに依存せず、トレーニング後、任意のブラックボックスモデルに適用可能である。
• 比較的評価のためのグローバル相互作用インデックスは、SHAP相互作用値から導出される。
• 本フレームワークは、異質な効果を検出できるICEカーブ可視化を統合し、それらをサブグループ内で局所化および定量化する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな集約に依存せずに、機械学習モデルにおける特徴の相互作用を検出し、定量することは可能か？ これにより、異質な効果が隠れてしまうのを回避できるか？
• RQ2 特徴空間に、注目特徴の効果がより信頼性があり、相互作用の影響をあまり受けない解釈可能なサブグループを特定できるか？
• RQ3 提案された相互作用検出指標は、H統計量やGreenwellの相互作用インデックスといった既存の指標と比較して、正確性と解釈可能性の面で優れているか？
• RQ4 地域的効果プロットは、複雑な相互作用が存在する状況において、グローバルなモデル解釈の信頼性をどの程度向上させられるか？
• RQ5 本手法は、住宅や医療分野の実世界データセットにおいて、隠れたバイアスやサブグループ特有の効果を解き明かすことができるか？

主な発見

• REPIDは、注目特徴の効果が顕著に異なるサブグループを効果的に特定し、グローバルな解釈における集約バイアスを低減した。
• カリフォルニアの住宅価格データセットでは、経度と緯度の間の相互作用重要度は0.49であり、海に近い場所との間は0.18であった。相互作用強度のR²は0.67であった。
• 糖尿病データセットでは、皮膚の厚さが糖尿病リスクに非単調な効果を示し、Glu（相互作用重要度0.29）および年齢（0.09）で定義されるサブグループで明確なパターンが観察された。R²_intは0.49であった。
• 非線形的かつ非一様な効果が存在する状況において、本手法はH統計量およびGreenwellの相互作用インデックスを上回り、相互作用の検出およびランク付けに優れた性能を示した。
• 本フレームワークは、経度が住宅価格に与える効果が緯度が高くなるにつれて減少し、海に近い場所によっても異なることが判明した。これはグローバルなPDプロットでは明らかではなかった。
• 実装は公開されており、研究者および実務家による完全な再現性と広範なアクセス性を確保している。