[論文レビュー] Question-Driven Design Process for Explainable AI User Experiences

Q. Vera Liao, Milena Pribic+3 more|arXiv (Cornell University)|Apr 8, 2021

Explainable Artificial Intelligence (XAI)参考文献 52被引用数 19

ひとこと要約

本論文は、説明可能なAI（XAI）のユーザーエクスペリエンス（UX）を、ユーザーの実際の質問に基づいて設計する「質問駆動型設計プロセス」を提案する。このプロセスにより、技術的なXAI手法と現実世界のユーザーのニーズの間のギャップを埋め、UX設計をユーザーの質問に根ざさせることで、ユーザー理解、技術的実現可能性、設計目標の整合性を高める。プロトタイプのユーザー質問を例示的なXAI手法に対応付けることで、デザイナーとAIエンジニアが協働して適切な説明を選定・実装でき、AIシステムにおけるユーザー理解、技術的実現可能性、設計目標の整合性を向上させる。

ABSTRACT

A pervasive design issue of AI systems is their explainability--how to provide appropriate information to help users understand the AI. The technical field of explainable AI (XAI) has produced a rich toolbox of techniques. Designers are now tasked with the challenges of how to select the most suitable XAI techniques and translate them into UX solutions. Informed by our previous work studying design challenges around XAI UX, this work proposes a design process to tackle these challenges. We review our and related prior work to identify requirements that the process should fulfill, and accordingly, propose a Question-Driven Design Process that grounds the user needs, choices of XAI techniques, design, and evaluation of XAI UX all in the user questions. We provide a mapping guide between prototypical user questions and exemplars of XAI techniques to reframe the technical space of XAI, also serving as boundary objects to support collaboration between designers and AI engineers. We demonstrate it with a use case of designing XAI for healthcare adverse events prediction, and discuss lessons learned for tackling design challenges of AI systems.

研究の動機と目的

• 技術的なXAI手法を効果的でユーザー中心のUXソリューションに翻訳するという、重要な設計課題に対処すること。
• 技術的機能ではなく、実際のユーザーの質問に基づいて選択を根拠づけることで、デザイナーが適切なXAI手法を選定できるように支援すること。
• マッピングガイドを境界オブジェクトとして用いることで、デザイナーとAIエンジニアの間の協働を促進する共有理解を構築すること。
• ユーザーのニーズ、文脈、評価基準と整合するように、XAI UX開発を構造的かつ反復的なプロセスで進めること。
• モデル中心の説明から脱却し、人間中心の価値観とUX目標を中心に据えた、技術的XAIツールボックスの再構築

提案手法

• 設計プロセスは、AI意思決定の理解を求めるユーザーのニーズを反映する質問を特定・優先順位付けすることに集中する。
• 代表的なユーザー質問（例：「なぜこの意思決定が下されたのですか？」）を特定のXAI手法（例：LIME、SHAP、対向的例）に結びつけるマッピングガイドを開発する。
• UX意思決定をユーザーの質問に根拠づけることで、反復的設計と評価を可能にし、説明の関連性と実行可能性を保証する。
• デザイナーとAIエンジニアがマッピングガイドを共有の参照資料として用い、技術的アフォーダンスとユーザー期待を一致させる共同開発を実現する。
• 実世界のユースケース（医療分野の有害事象予測を含む）2件を用いてプロセスの検証と改善を実施し、実用的適用性を検証する。
• ユーザー調査の結果を基に初期のユーザー質問のセットを定義することで、設計が実際のユーザーの文脈と価値観に根ざしたままであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 デザイナーは、技術的機能ではなく、実際のユーザーのニーズに合致したXAI手法を効果的にどのように選定できるか？
• RQ2 ユーザーの質問は、説明可能なAIのUX設計をどのように導くか？
• RQ3 XAI UXソリューションを開発する際、デザイナーとAIエンジニアはどのようにしてより効果的に協働できるか？
• RQ4 XAI手法をユーザーの質問に体系的にマッピングすることで、設計意思決定をどのように支援できるか？
• RQ5 XAI UX設計をユーザーの質問に根拠づけることで、AIシステムの使いやすさと信頼性はどのように向上するか？

主な発見

• 質問駆動型設計プロセスは、すべての設計意思決定を実際のユーザーの質問に根拠づけることで、XAI UX設計をユーザーのニーズと整合させるのに成功した。
• ユーザーの質問とXAI手法の間のマッピングガイドは、デザイナーとAIエンジニアの間で共有理解を生む有効な境界オブジェクトとして機能した。
• このプロセスにより、XAI手法のアフォーダンスを技術的特徴ではなく、ユーザー理解の目標に基づいて捉えるデザイナー的アプローチが可能になった。
• ユーザーの質問に根拠を置く共通の評価基準を通じて、設計と技術的ソリューションの反復的改善が可能になった。
• 2つのユースケースを通じて検証された結果、本アプローチは医療AIのような複雑な分野でも実用的であることが示された。
• 本研究は、現在のXAIツールボックスがしばしばエンドユーザーのニーズと一致していないことを浮き彫りにし、本手法がそれらを人間中心の価値観に再構築するのを支援することを示した。