[論文レビュー] Explainable AI without Interpretable Model

Kary Främling|arXiv (Cornell University)|Sep 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 8

ひとこと要約

この論文は、解釈可能な補助モデルに依存せずに、ブラックボックスAI意思決定の人に似た説明を生成するモデルに依存しない手法であるコンテキスト・インポートランスとユーティリティ（CIU）を紹介する。CIUは文脈に応じた方法で特徴量の重要度と効用を計算し、抽象化のレベルや用語の体系に応じて柔軟で正確かつユーザーに適応可能な説明を可能にする。

ABSTRACT

Explainability has been a challenge in AI for as long as AI has existed. With the recently increased use of AI in society, it has become more important than ever that AI systems would be able to explain the reasoning behind their results also to end-users in situations such as being eliminated from a recruitment process or having a bank loan application refused by an AI system. Especially if the AI system has been trained using Machine Learning, it tends to contain too many parameters for them to be analysed and understood, which has caused them to be called `black-box' systems. Most Explainable AI (XAI) methods are based on extracting an interpretable model that can be used for producing explanations. However, the interpretable model does not necessarily map accurately to the original black-box model. Furthermore, the understandability of interpretable models for an end-user remains questionable. The notions of Contextual Importance and Utility (CIU) presented in this paper make it possible to produce human-like explanations of black-box outcomes directly, without creating an interpretable model. Therefore, CIU explanations map accurately to the black-box model itself. CIU is completely model-agnostic and can be used with any black-box system. In addition to feature importance, the utility concept that is well-known in Decision Theory provides a new dimension to explanations compared to most existing XAI methods. Finally, CIU can produce explanations at any level of abstraction and using different vocabularies and other means of interaction, which makes it possible to adjust explanations and interaction according to the context and to the target users.

研究の動機と目的

• 解釈可能な補助モデルに依存する既存のXAI手法の限界を克服すること。これらの手法は、元のブラックボックスモデルを忠実に再現しない可能性がある。
• 意思決定理論および認知科学の原則に根ざした説明を用いることで、専門外のエンドユーザーの説得性を高めること。
• ユーザーの専門性、ドメインの文脈、インタラクションの好みに応じて適応可能な文脈に敏感な、人に似た説明を可能にすること。
• 現実世界の意思決定ダイナミクスを反映する形で、特徴量の重要度と効用を統合的に説明するフレームワークを提供すること。
• モデルアーキテクチャに依存せず、モデルの忠実度を犠牲にしない新しいXAI手法のカテゴリを確立すること。

提案手法

• CIUは、入力の摂動に対してモンテカルロサンプルを用いて、他の特徴量を条件として、特徴量の値がモデル出力に与える影響を測定することで、コンテキスト・インポートランス（CI）を計算する。
• コンテキスト・ユーティリティ（CU）は、入力分布全体におけるモデルの反応に基づき、特定の入力値が望ましい結果を達成するのにどれほど好ましいかを定量化する。
• この手法はモデルに依存せず、任意の訓練済みブラックボックスモデルに対して直接適用可能であり、アーキテクチャの変更は不要である。
• 中間概念（例：'Sepal Length'と'Sepal Width'からなる'Petal size and shape'）が導入され、より高い抽象化レベルでの説明を可能にする。
• 棒グラフや可視化を用いて説明を生成し、CIとCUの値を表示する。赤・緑の色分けにより、負の影響または正の影響を示す。
• このアプローチには、1つの調整可能なパラメータのみが存在する：摂動集合S(𝑣𝐶, {𝑖})におけるサンプル数であり、将来的には自動化またはチューニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な補助モデルに依存せずに、ブラックボックスAI意思決定の説明を生成することは可能か？
• RQ2 現実世界の意思決定を反映する文脈依存的な方法で、特徴量の重要度と効用をどのように計算できるか？
• RQ3 モデルの再トレーニングを伴わずに、異なるユーザーの文脈、用語の体系、抽象化のレベルに適応可能な説明は可能か？
• RQ4 CIUの説明の忠実度は、補助モデルに基づくXAI手法の説明と比べてどの程度か？
• RQ5 CIUを用いて、異なるブラックボックスモデルの信頼性や信頼性を評価することは可能か？

主な発見

• CIUは、補助モデルを一切使用せずに、IrisおよびBoston Housingデータセットに対して正確で文脈に敏感な説明を成功裏に生成した。
• Irisデータセットでは、CIUが『Petal Length』と『Petal Width』がVirginica分類において最も重要な特徴量であることを正しく特定し、CI（0.638）とCU（0.995）の高い値を示した。
• Boston Housingでは、『LSTAT』が低価格住宅の主な要因であり、『RM』が高価格住宅の主な要因であるとCIUが特定した。最高価格のインスタンスでは、CI値がそれぞれ0.895および0.927であった。
• CIUの説明は複数回の実行において一貫しており、勾配ブースティングとニューラルネットワークのような異なるモデルの差を反映しており、モデル感受性を示した。
• 『Petal size and shape』のような中間概念の使用により、ドメイン固有の推論に一致する直感的で人間が読みやすい説明が可能になった。
• CIUの棒グラフは、望ましい結果（例：Boston Housingの『medv』の高値）と関連して、好ましい入力値（高いCU）が示されており、効用に基づく説明を支持した。