[論文レビュー] Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI

Q. Vera Liao, Yunfeng Zhang+3 more|arXiv (Cornell University)|Jun 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本稿では、モデルのデバッグ、意思決定支援、監査といった異なる使用状況において、評価基準の相対的重要性がどのように変化するかを特定することで、説明可能AI（XAI）の文脈的評価を提案する。XAI専門家およびクラウドワーカーを対象としたアンケート調査を通じて、実際の現場では不確実性の伝達や透過性といった基準が高く評価されているものの、現在のアルゴリズム的研究では軽視されていることが明らかになった。これは、現実の目的に基づいたユーザー中心の評価への転換を求めるものである。

ABSTRACT

Recent years have seen a surge of interest in the field of explainable AI (XAI), with a plethora of algorithms proposed in the literature. However, a lack of consensus on how to evaluate XAI hinders the advancement of the field. We highlight that XAI is not a monolithic set of technologies -- researchers and practitioners have begun to leverage XAI algorithms to build XAI systems that serve different usage contexts, such as model debugging and decision-support. Algorithmic research of XAI, however, often does not account for these diverse downstream usage contexts, resulting in limited effectiveness or even unintended consequences for actual users, as well as difficulties for practitioners to make technical choices. We argue that one way to close the gap is to develop evaluation methods that account for different user requirements in these usage contexts. Towards this goal, we introduce a perspective of contextualized XAI evaluation by considering the relative importance of XAI evaluation criteria for prototypical usage contexts of XAI. To explore the context dependency of XAI evaluation criteria, we conduct two survey studies, one with XAI topical experts and another with crowd workers. Our results urge for responsible AI research with usage-informed evaluation practices, and provide a nuanced understanding of user requirements for XAI in different usage contexts.

研究の動機と目的

• アルゴリズム的XAI研究と現実の使用状況の間の乖離を是正するため、評価基準がユーザーのニーズと一致しない状況を是正すること。
• モデルのデバッグ、意思決定支援、監査といった特定のXAI使用状況において、最も重要な評価基準を特定・優先順位付けすること。
• エンドユーザーとXAI専門家がXAI基準の重要性をどのように認識しているかを実証的に調査し、現在の評価実践における盲点を明らかにすること。
• 文脈に応じた重みを提供することで、実務家や研究者がXAI技術の選定や最適化を効果的に行えるようにすること。
• 純粋なアルゴリズム的指標ではなく、応用に基づいたユーザーを考慮した評価を重視することで、責任あるAI研究を推進すること。

提案手法

• Faithfulness、Stability、Comprehensibility、Uncertainty Communication、Translucenceなどを含む、既存の文献を統合してXAI評価基準の分類を構築した。
• ユーザーの目的に基づき、モデルのデバッグ、意思決定支援、能力評価、監査といった代表的なXAI使用状況を特定した。
• XAI分野の専門家（HCIおよびAI分野）を対象としたアンケート調査と、AIアプリケーションのエンドユーザーを想定したクラウドワーカーを対象としたアンケート調査を実施した。
• リトリニティブな意見アンケートを用いて、各使用状況内での評価基準の相対的重要性をランク付けし、文脈に応じた重要度の重みを生成した。
• 文脈に応じた重みを用いてXAI技術を評価する重み付き評価フレームワークを提案した。
• 得られた結果を用いて、既存のXAI技術をベンチマーク化し、特定の用途に応じたXAIシステムの改善や選定において優先すべき基準を同定した。

実験結果

リサーチクエスチョン

• RQ1 モデルのデバッグ、意思決定支援、監査といった異なる使用状況において、XAI評価基準の相対的重要性はどのように変化するか？
• RQ2 エンドユーザーとXAI専門家は、Faithfulness、Comprehensibility、Uncertainty Communicationといった基準の重要性についてどの程度一致しているか？
• RQ3 特定のユーザーの目的、たとえば分野の学習やモデルの信頼性の評価を支援するためには、どの評価基準が最も重要となるか？
• RQ4 評価指標を純粋なアルゴリズム的特性から、現実のニーズを反映するユーザー中心の基準へと再方向づけるにはどうすればよいか？
• RQ5 現在のXAI研究および評価実践において、Uncertainty Communication や Translucence を無視することの意味は何か？

主な発見

• 不確実性の伝達と透過性は、専門家およびエンドユーザーの両方から高く評価されているが、現在のXAI評価フレームワークでは軽視されている。
• 意思決定支援の文脈では、FaithfulnessよりもComprehensibilityとUncertainty Communicationが優先されており、ユーザーの好みにおけるトレードオフが顕在化している。
• モデルのデバッグでは、FaithfulnessとStabilityがより重要視されているが、これはアルゴリズム的研究の焦点に一致しているが、他の文脈におけるユーザーのニーズを無視する可能性がある。
• 専門家の認識とエンドユーザーの優先順位の間に顕著なギャップが存在し、特にパーソナライゼーションやインタラクティブ性に関する点で、現在の評価設計における盲点が浮き彫りになった。
• Faithfulnessが常に優先されるわけではないことが明らかになった。たとえば、能力評価の文脈では、より良いComprehensibilityを得るためにFaithfulnessを妥協するユーザーの傾向がある。
• 本研究の結果は、文脈に応じた重み付き評価フレームワークの基盤を提供し、実務家が文脈に応じた基準の重要度に基づいてXAI技術の選定や最適化を実施できるようにする。