[論文レビュー] Explaining Any ML Model? -- On Goals and Capabilities of XAI

Moritz Renftle, Holger Trittenbach+2 more|arXiv (Cornell University)|Jun 28, 2022

Explainable Artificial Intelligence (XAI)参考文献 28被引用数 4

ひとこと要約

この論文は、XAI研究を、機械学習モデルに関するユーザーの実際の質問を通じて再定義する。XAIアルゴリズムが現在、唯一取り扱っている核心的な質問は「複雑なモデルを解釈可能な属性の単純な関数として表現する方法は何か？」であると特定する。本研究は、モデルの近似と技術的特徴を人間が理解できる用語に翻訳するという2つの主要な課題を明らかにし、今後のXAIが実際のニーズに応えるためには、両者を包括的に扱う必要があると主張する。

ABSTRACT

An increasing ubiquity of machine learning (ML) motivates research on algorithms to explain ML models and their predictions -- so-called eXplainable Artificial Intelligence (XAI). Despite many survey papers and discussions, the goals and capabilities of XAI algorithms are far from being well understood. We argue that this is because of a problematic reasoning scheme in XAI literature: XAI algorithms are said to complement ML models with desired properties, such as "interpretability", or "explainability". These properties are in turn assumed to contribute to a goal, like "trust" in an ML system. But most properties lack precise definitions and their relationship to such goals is far from obvious. The result is a reasoning scheme that obfuscates research results and leaves an important question unanswered: What can one expect from XAI algorithms? In this article, we clarify the goals and capabilities of XAI algorithms from a concrete perspective: that of their users. Explaining ML models is only necessary if users have questions about them. We show that users can ask diverse questions, but that only one of them can be answered by current XAI algorithms. Answering this core question can be trivial, difficult or even impossible, depending on the ML application. Based on these insights, we outline which capabilities policymakers, researchers and society can reasonably expect from XAI algorithms.

研究の動機と目的

• 『解釈可能性』のような抽象的特性から離れて、ユーザーが機械学習モデルに関して実際に質問する内容に焦点を移すことにより、XAIアルゴリズムの真の目的と能力を明確化すること。
• XAI文献に一般的に見られる曖昧で規範的な議論に反して、現在のXAI手法が実際に回答可能なユーザーの質問を特定すること。
• 現在のXAIアプローチの限界を露呈すること。主に「複雑なモデルを解釈可能な属性の単純な関数として表現する」という1つの特定の質問にのみ対応していること。
• XAIにおける根本的な2つの課題、すなわち近似と翻訳が、意味のある進展を実現するためには同時に取り組む必要があることを強調すること。
• XAIの潜在能力を具体的でユーザー中心の目的に基づいて定義することで、政策立案者、研究者、社会が現実的な期待を持つように導くこと。

提案手法

• スパム検出のユースケースを用いて、機械学習モデルに関する7つの異なるユーザーの質問を分析し、その意図と複雑さに基づいて分類する。
• XAIアルゴリズムが現在、唯一取り扱っている質問は「複雑な機械学習モデルを解釈可能な属性の単純な関数として表現するにはどうすればよいか？」であると特定する。
• 2つの核心的な課題を導入する：(1) 近似、すなわち代替モデルが忠実度と単純さの両立を図る必要があること。および (2) 翻訳、すなわち技術的特徴（例：ニューロンの活性化）を人間が理解できる概念（例：物体、形状）に結びつけること。
• LIME、SHAP、統合勾配など、近似技術としての既存のXAI手法をレビューし、コンピュータビジョンやNLPで特徴の翻訳を可能にする手法も検討する。
• 今後のXAIは、近似と翻訳を統合すべきだと提言する。神経記号的アプローチ（例：ニューラルプロトタイプツリー）が、この統合的解決策の具体例である。
• XAIを抽象的特性の追求ではなく、具体的かつ実行可能な質問に答える技術的問題として再定義するユーザー中心の視点を採用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーは機械学習モデルに関して実際にどのような質問をし、それらの質問はXAIの目的とどのように関連しているか？
• RQ2 これらのユーザーの質問の中で、現在のXAI手法が現実的に回答できるのはどれか？
• RQ3 XAIアルゴリズムがユーザーの質問に効果的に応えるのを制限する根本的な技術的課題は何か？
• RQ4 既存のXAI手法は、近似と翻訳の両方の課題を同時にどれほど解決しているか？
• RQ5 XAI研究は、『解釈可能性』のような規範的または曖昧な特性ではなく、現実のユーザーのニーズに合致するようにどのように再定義すべきか？

主な発見

• 現在のXAIアルゴリズムが取り扱っているのは、唯一「複雑な機械学習モデルを解釈可能な属性の単純な関数として表現するにはどうすればよいか？」という1つのユーザーの質問に限られている。
• XAIにおける2つの主要な課題は、近似（代替モデルの忠実度と単純さのバランス）と翻訳（技術的特徴を人間が理解できる概念に変換すること）である。
• LIME、SHAP、統合勾配などの既存のXAI手法は主に近似課題に対応しているが、翻訳課題を十分に解決していない。
• 翻訳は未だ十分に研究されていない。畳み込みニューラルネットワーク（CNN）のニューロン活性化と視覚的コンセプト（例：形状、物体）を結びつける手法は存在するが、大規模なアノテート済みデータセットを必要としている。
• 近似と翻訳を同時に取り組むことは、まだ解決されていない課題であり、特に視覚、自然言語処理、物理的プロセスモデリングなどのマルチモーダル分野で顕著である。
• 神経記号的AIアプローチ（例：ニューラルプロトタイプツリー）は、ニューラル学習と記号的解釈を組み合わせることで、統合的解決策への有望な道筋を示している。