[論文レビュー] How Much Can We See? A Note on Quantifying Explainability of Machine Learning Models

Gero Szepannek|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 5

ひとこと要約

この論文は、ブラックボックス機械学習モデルの予測を説明するのに部分的依存プロット（PDP）がどの程度適切であるかを定量化するフレームワークを導入する。モデルの予測値 $\hat{f}(x)$ とPDP値 $\widehat{PD}_s(x)$ の平均二乗差を測定することで、モデルの挙動をPDPがどの程度捉えられるかを定量化する説明可能性指標 $\Upsilon$ を定義し、研究者が可視化が解釈可能性に十分であるかどうかを判断できるようにする。

ABSTRACT

One of the most popular approaches to understanding feature effects of modern black box machine learning models are partial dependence plots (PDP). These plots are easy to understand but only able to visualize low order dependencies. The paper is about the question 'How much can we see?': A framework is developed to quantify the explainability of arbitrary machine learning models, i.e. up to what degree the visualization as given by a PDP is able to explain the predictions of the model. The result allows for a judgement whether an attempt to explain a black box model is sufficient or not.

研究の動機と目的

• ブラックボックス機械学習モデルの説明において、部分的依存プロット（PDP）の適切さを評価する標準化された手法が不足しているという問題に対処すること。
• PDPがモデルの真の予測挙動をどの程度反映しているかを定量化する指標を構築すること。
• 研究者がPDPに基づく説明が十分かどうか、あるいは高階の相互作用や代替手法が必要かどうかを判断できるようにすること。
• 説明可能性を最大化するために、どの変数をPDPに含めるかをデータドリブンな基準で選択するための基準を提供すること。

提案手法

• モデルの予測値 $\hat{f}(x)$ と部分的依存関数値 $\widehat{PD}_s(x)$ の平均二乗差を、説明可能性の定量化の根幹とする。
• 説明可能性指標 $\Upsilon = 1 - \frac{\text{ASE}(PD_s)}{\text{ASE}(\text{baseline})}$ を導入し、ASEは予測値とPDP値の期待二乗誤差を測る。
• 実データおよび合成データ上で、ASEの経験的推定（標本平均を用いて）により $\Upsilon$ を計算する。
• 変数選択の前向きステップワイズ法を採用し、$\Upsilon$ を評価基準として用いて、PDPに最も情報をもたらす変数のサブセットを同定する。
• $(\hat{f}(x), PD(x))$ 平面上の散布図を用いて、$\hat{f}(x)$ と $\widehat{PD}_s(x)$ の一致度を可視化し、モデルとPDPの整合性を評価する。
• 2次元PDPおよび散布図行列を用いて多変量の依存関係を探索するが、高階の相互作用を可視化する際の限界にも言及する。

実験結果

リサーチクエスチョン

• RQ1 部分的依存プロット（PDP）は、ブラックボックス機械学習モデルの予測挙動をどの程度正確に表現できるか？
• RQ2 PDPの説明可能性は、元のモデルの予測とどの程度関連づけて定量的に測定できるか？
• RQ3 どの入力変数のサブセットをPDPに使用すれば、$\Upsilon$ で測定されたモデルの説明可能性が最大になるか？
• RQ4 モデルの予測値とPDP値の一致具合は、視覚的に評価・解釈可能か。これにより、説明の限界を検出できるか？
• RQ5 どの程度の $\Upsilon$ 値であれば、信頼できるモデルの説明と見なせるか。また、PDPが不十分であるとされるのはいつか？

主な発見

• 説明可能性指標 $\Upsilon$ は、PDPがモデルの真の予測をどの程度反映しているかを効果的に定量化する。$\Upsilon = 1$ は完全な一致を示す。
• ボストン住宅データセットでは、PDPに6つの変数のみを含めても $\Upsilon > 0.93$ を達成しており、少数の特徴量でモデル挙動の大部分を説明できることを示している。
• ボストン住宅データでは、変数選択プロセスにより、lstat と rm が最も影響力のある予測変数であることが特定され、選択の初期段階で $\Upsilon$ がそれぞれ 0.986 および 0.993 に達した。
• 14個の変数を含めても $\Upsilon$ は 1.000 に達しており、PDPに全変数を含めるとモデル予測と完全に一致することが示された。
• $(\hat{f}(x), PD(x))$ 散布図の視覚的検査により、非線形性や相互作用効果が強い領域で、予測値とPDPの間で体系的なずれが確認された。
• 本研究は、PDPが同時に2つの変数までしか可視化できないこと、また散布図行列が役立つものの、高階の相互作用を完全に捉えることはできないことから、この分野における未解決の研究課題であると強調している。