[論文レビュー] Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections

Tomi Peltola|arXiv (Cornell University)|Oct 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 30

ひとこと要約

本稿では、元のモデルの予測分布と単純で解釈可能な説明モデル（例：スパース線形モデル）との間のカルバック・ライブラー発散を最小化することにより、ベイジアン予測モデルの局所的で解釈可能な説明を生成するKL-LIMEという手法を提案する。これにより、不確実性の定量化が保持される。この手法により、ベイジアン畳み込みニューラルネットワークなどの複雑なモデルに対し、忠実で不確実性を考慮した局所的説明が可能となり、MNISTの数字分類タスクで実証された。解釈可能性と忠実度のトレードオフが改善された。

ABSTRACT

We introduce a method, KL-LIME, for explaining predictions of Bayesian predictive models by projecting the information in the predictive distribution locally to a simpler, interpretable explanation model. The proposed approach combines the recent Local Interpretable Model-agnostic Explanations (LIME) method with ideas from Bayesian projection predictive variable selection methods. The information theoretic basis helps in navigating the trade-off between explanation fidelity and complexity. We demonstrate the method in explaining MNIST digit classifications made by a Bayesian deep convolutional neural network.

研究の動機と目的

• 複雑なベイジアン予測モデルの解釈を可能にするために、局所的で人間が理解可能な説明を提供すること。
• LIMEフレームワークをベイジアンモデルに拡張し、説明における不確実性の定量化を統合すること。
• 情報理論的原則を用いて、連続的・カテゴリカル・打ち切り済みデータを含む多様な予測タイプに対して、モデルに依存しない解釈を可能にすること。
• 原理的なカルバック・ライブラー発散の最小化と射影予測変数選択を用いて、説明の忠実度と複雑さのバランスをとること。
• ベイジアンディープラーニングモデル（例：MNISTにおけるベイジアン畳み込みニューラルネットワーク）に対して、本手法の有効性を実証すること。

提案手法

• KL-LIMEは、2つの分布間のカルバック・ライブラー発散を最小化することで、ベイジアンモデルの予測分布を単純で解釈可能な説明モデル（例：スパース線形モデル）に射影する。
• 入力データを摂動させることで定義される局所性分布（例：画像のピクセルをランダムにマスキング）を用い、入力点に近いサンプルに高い重みを付与する。
• 元のモデルの予測と説明モデルの予測との間の重み付きL2損失を最小化する最適化により、説明モデルをフィッティングする。
• モデルの不確実性を考慮しながら、説明モデルにおける最も関連性の高い特徴を特定するため、ベイジアン射影予測変数選択を統合する。
• 説明モデルのパラメータの事後分布サンプルを用いて、説明における不確実性を可視化し、点推定よりも豊かな解釈を可能にする。
• 相対的説明力曲線を用いて、説明の忠実度と複雑さのトレードオフを評価し、最適な説明のスパarsity（スパarsity）の選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 エピステミック的およびアレアトリックな不確実性を保持しつつ、ベイジアン予測モデルに対して局所的で解釈可能な説明をどのように生成できるか。
• RQ2 カルバック・ライブラー発散の最小化は、ディープニューラルネットワークのような複雑なベイジアンモデルの説明の忠実度と解釈可能性をどの程度向上できるか。
• RQ3 説明に不確実性を組み込むことで、実世界の応用におけるモデル解釈の信頼性と信頼性はどのように変化するか。
• RQ4 提案手法は、分類・回帰・打ち切り済みデータを含む多様な予測タイプに対して、モデルに依存せずに適用可能か。
• RQ5 説明の複雑さと忠実度の最適なトレードオフは何か。また、その定量的評価はどのように行えるか。

主な発見

• KL-LIMEは、ドロップアウトを用いたベイジアン近似により不確実性を定量化しながら、MNISTにおけるベイジアン畳み込みニューラルネットワークに対して、局所的で解釈可能な説明を成功裏に生成した。テスト精度は99.2%を達成した。
• 相対的説明力曲線は約0.85で plateau に達しており、選択した説明モデルでは完全な忠実度は達成できないことが示され、複雑さと精度の自然なトレードオフが顕在化した。
• 平均的な説明では、数字「8」の上部ループの左側が「8」として分類される要因として最も寄与していることが判明した。一方、右側は「3」との誤分類に関連していた。
• 説明における分散は、上部ループの左側で最も高かった。これは、その領域における特徴の重要性に大きな不確実性があることを反映している。
• 説明モデルの事後分布サンプルから、複数回のサンプリングにおいて一貫したパターンが得られ、モデルの不確実性に関する洞察が得られ、手法の堅牢性が確認された。
• 本手法は、画像タスクでは複雑な説明（例：多数の活性ピクセル）であっても解釈可能であることを示したが、テキストや医療データのような非視覚的分野では、忠実度と複雑さのトレードオフが特に重要になることが明らかになった。