[論文レビュー] Explaining Deep Learning Models - A Bayesian Non-parametric Approach

Wenbo Guo, Sui Huang+3 more|arXiv (Cornell University)|Nov 7, 2018

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 10

ひとこと要約

本稿では、深層学習モデルの意思決定境界を近似することで、グローバルかつ一般化可能な知見を抽出するため、複数のエラスティックネットを統合したベイジアン非パrametric混合モデル（DMM-MEN）を提案する。この手法は、個々の予測の説明において最先端技術を上回り、入力特徴量に対する感受性を特定することでモデルの脆弱性を明らかにする。

ABSTRACT

Understanding and interpreting how machine learning (ML) models make decisions have been a big challenge. While recent research has proposed various technical approaches to provide some clues as to how an ML model makes individual predictions, they cannot provide users with an ability to inspect a model as a complete entity. In this work, we propose a novel technical approach that augments a Bayesian non-parametric regression mixture model with multiple elastic nets. Using the enhanced mixture model, we can extract generalizable insights for a target model through a global approximation. To demonstrate the utility of our approach, we evaluate it on different ML models in the context of image recognition. The empirical results indicate that our proposed approach not only outperforms the state-of-the-art techniques in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of the target ML models.

研究の動機と目的

• 深層学習モデルにおけるグローバルな解釈性の欠如が、モデルの強みや弱みの理解を制限するという問題に対処すること。
• 多様なデータ分布にわたる入力特徴量に対するモデル感受性に関する一般化可能な知見を抽出する手法を開発すること。
• モデル開発者が脆弱性を事前に特定し、複雑なモデルに対する信頼を高められることを可能にすること。
• 従来のホワイトボックスまたはブラックボックス手法よりも、より説得力があり理解しやすい説明を提供すること。
• 個々の予測を超えて、モデルの完全な意思決定境界を近似すること。

提案手法

• 本手法は、ターゲットの深層学習モデルの意思決定境界を近似するため、ベイジアン非パrametric回帰混合モデルを用いる。
• 入力の相関構造が異なる場合にもパターンを効果的に抽出できるように、複数のエラスティックネットを混合モデルに統合する。
• モデルはターゲットモデルの行動をグローバルに近似し、特定の入力次元に対するモデル感受性の一般化されたレベルを捉える。
• より堅牢な推定を実現するため、MCMC（マルコフ連鎖モンテカルロ）サンプリングを用いてモデルパラメータの事後分布を推論する。
• ターゲットモデルをブラックボックスとして扱うため、アーキテクチャの変更なしに任意の事前学習済みモデルに適用可能である。
• 特徴量の重要度は、学習された混合成分から導出され、予測に最も影響を与える入力特徴量が特定される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルの意思決定境界のグローバルな近似は、その入力特徴量に対する感受性に関する一般化可能な知見を明らかにできるか？
• RQ2 本手法は、LIME や SHAP といった最先端のローカル説明技術と比較して、個々の予測の説明においてどのように性能を発揮するか？
• RQ3 本手法は、重要な入力次元を同定することで、どの程度モデルの脆弱性を検出できるか？
• RQ4 本手法は、ImageNet などの高次元および超高次元データにおいても高い性能を維持できるか？
• RQ5 本手法は、画像認識を越えた異なる学習モデルやタスクに一般化可能か？

主な発見

• MNISTでは、DMM-MENは99.89％の精度（99.74–100％信頼区間）を達成し、LIME（100％）とSHAP（99.95％）に比べ、精度と信頼区間の両面で優れた性能を示した。
• Fashion-MNISTでは、DMM-MENは97.59％の精度（97.32–97.89％CI）を達成し、LIME（100％）とSHAP（98.32％）に比べ、説明の質において顕著に優れた性能を示した。
• ImageNetでは、DMM-MENは69.36％の精度（47.88–90.18％CI）を達成し、LIME（85.6％）とSHAP（66.05％）に比べ、グローバルな知見抽出において顕著に優れた性能を示した。
• 本手法は、全体的なモデル行動に影響を与える重要な入力特徴量を明らかにすることで、モデルの脆弱性を特定する点で優れた性能を示した。
• 推論時間は139.2秒（ImageNet）と低遅延であり、一般的な深層学習の学習時間と同等の性能を発揮した。
• 本手法は超高次元データに対しても効果的であり、特にこのような入力における個々の意思決定の説明において、最先端技術を顕著に上回った。