[論文レビュー] A Multidisciplinary Survey and Framework for Design and Evaluation of Explainable AI Systems

Sina Mohseni, Niloofar Zarei+1 more|arXiv (Cornell University)|Nov 28, 2018

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本論文は、機械学習、可視化、ヒューマンコンピュータインタラクションの分野を横断して、説明可能なAI（XAI）システムの設計および評価のための多分野的フレームワークを提示する。設計目標と評価手法を分類することで、段階的で反復的なフレームワークを提供し、ガイドラインと評価技術をマッピングすることで、学際的XAI研究の統合とエンド to エンドのシステム開発支援を図る。

ABSTRACT

The need for interpretable and accountable intelligent systems grows along with the prevalence of artificial intelligence applications used in everyday life. Explainable intelligent systems are designed to self-explain the reasoning behind system decisions and predictions, and researchers from different disciplines work together to define, design, and evaluate interpretable systems. However, scholars from different disciplines focus on different objectives and fairly independent topics of interpretable machine learning research, which poses challenges for identifying appropriate design and evaluation methodology and consolidating knowledge across efforts. To this end, this paper presents a survey and framework intended to share knowledge and experiences of XAI design and evaluation methods across multiple disciplines. Aiming to support diverse design goals and evaluation methods in XAI research, after a thorough review of XAI related papers in the fields of machine learning, visualization, and human-computer interaction, we present a categorization of interpretable machine learning design goals and evaluation methods to show a mapping between design goals for different XAI user groups and their evaluation methods. From our findings, we develop a framework with step-by-step design guidelines paired with evaluation methods to close the iterative design and evaluation cycles in multidisciplinary XAI teams. Further, we provide summarized ready-to-use tables of evaluation methods and recommendations for different goals in XAI research.

研究の動機と目的

• 分野ごとの散在するXAI研究を統合し、設計および評価アプローチを統一することに寄与する。
• エンドユーザー、ドメインエキスパート、開発者などの異なるXAIユーザーグループのための明確な設計目標を特定および分類すること。
• 特定の設計目標に適した評価手法をマッピングし、体系的かつ的を絞ったXAIシステム開発を支援すること。
• 設計と評価のサイクルを閉じるための実用的で反復的なフレームワークを構築すること。
• 特定のXAI研究目標に適合した評価手法と推奨事項の表を即時に利用可能にすること。

提案手法

• 機械学習、可視化、ヒューマンコンピュータインタラクション（HCI）分野におけるXAI文献を包括的に調査する。
• エンドユーザー、ドメインエキスパート、開発者を含むターゲットユーザーグループに基づいて、XAIの設計目標を分類する。
• 焦点に応じて、計算的評価、人間中心の評価、システムレベルの評価の3つに評価手法を分類する。
• 複数のレイヤーにまたがり、設計目標と適切な評価手法を結びつけるネスト型で反復的なフレームワークを提唱する。
• インタラクティブな機械学習および使いやすさ評価分野の既存フレームワークの知見を統合し、システム設計および評価レイヤーを支援する。
• 8名の多様な専門性を持つ研究者を対象とした1年間の学際的事例研究を通じて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 XAIの設計目標は、異なるユーザーグループと分野ごとに体系的にどのように分類できるか？
• RQ2 特定のXAI設計目標に最も適した評価手法は何か。また、ユーザーグループごとにその手法はどのように異なるか？
• RQ3 統一されたフレームワークを通じて、XAIシステム設計における学際的協働を効果的に支援する方法は何か？
• RQ4 XAIシステムにおいて、計算的解釈可能性と人間の解釈可能性を一致させるにあたり、主な課題は何か？
• RQ5 堅牢でユーザーフレンドリーなXAIシステムを保証するため、反復的設計と評価サイクルをどのように構造化すべきか？

主な発見

• XAIの設計目標と評価手法の明確なマッピングを確立し、機械学習、可視化、HCI分野のコミュニティ間で異なる優先順位が明らかになった。
• フレームワークは、内側のアルゴリズム的解釈可能性から外側のユーザーエクスペリエンスおよびシステム成果に至るまで、設計目標と評価手法を結びつけることで、反復的設計と評価を効果的に支援した。
• 事例研究により、フレームワークが1年間のXAI開発プロセスを通じて多様な分野のチームを効果的に導く実用的価値を示した。
• 評価手法はターゲットユーザーグループによって顕著に異なる：モデルの解釈可能性には計算的指標が用いられ、ユーザーの信頼や理解度を評価するには被験者を用いた人間中心の研究が不可欠である。
• フレームワークはスケーラビリティと拡張性を備えており、ドメイン固有の設計ガイドラインとの統合が可能であり、さらなる事例研究による検証も可能である。
• 制限点として、高レベルの抽象化であるため、特定のドメインにおける詳細な実装ガイドラインの補完が求められる可能性がある。