[论文解读] Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals

Weina Jin, Jianyu Fan+3 more|arXiv (Cornell University)|Feb 10, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出以終端用戶友好的解釋形式與解釋目標為框架，以揭示非技術性終端用戶對可解釋人工智慧（XAI）的需求。透過針對四項高風險任務的 32 名非專業參與者所進行的混合方法使用者研究，識別出使用者對特徵、範例與規則基礎解釋的具體需求，以及十項關鍵解釋目標（如信任校準與偏見檢測），並展示這些洞察如何直接指導以使用者為中心的 XAI 技術之設計與評估。

ABSTRACT

Non-technical end-users are silent and invisible users of the state-of-the-art explainable artificial intelligence (XAI) technologies. Their demands and requirements for AI explainability are not incorporated into the design and evaluation of XAI techniques, which are developed to explain the rationales of AI decisions to end-users and assist their critical decisions. This makes XAI techniques ineffective or even harmful in high-stakes applications, such as healthcare, criminal justice, finance, and autonomous driving systems. To systematically understand end-users' requirements to support the technical development of XAI, we conducted the EUCA user study with 32 layperson participants in four AI-assisted critical tasks. The study identified comprehensive user requirements for feature-, example-, and rule-based XAI techniques (manifested by the end-user-friendly explanation forms) and XAI evaluation objectives (manifested by the explanation goals), which were shown to be helpful to directly inspire the proposal of new XAI algorithms and evaluation metrics. The EUCA study findings, the identified explanation forms and goals for technical specification, and the EUCA study dataset support the design and evaluation of end-user-centered XAI techniques for accessible, safe, and accountable AI.

研究动机与目标

• 彌補現有研究對非技術性終端用戶在可解釋人工智慧（XAI）方面需求理解的缺口，這些使用者在 XAI 開發過程中常被忽略。
• 透過引入終端用戶友好的解釋形式作為橋樑，克服 XAI 系統與終端用戶之間的技術溝通障礙。
• 識別並分類驅動終端用戶在高風險決策情境中尋求人工智慧解釋的多樣化解釋目標。
• 透過連結終端用戶需求與技術規格及評估指標，為 XAI 開發者提供具體可行的洞察。
• 透過基於實證使用者研究資料的以使用者為中心的設計，支援開發可及、安全且具責任感的人工智慧系統。

提出的方法

• 提出「終端用戶友好的解釋形式」作為 XAI 技術的抽象、使用者導向呈現方式，分為特徵、範例與規則三類。
• 設計混合方法使用者研究（EUCA），招募 32 名非專業參與者，執行四項人工智慧輔助的關鍵任務：醫療診斷、刑事司法、貸款核淮與自主駕駛。
• 透過情境化任務收集關於解釋形式與目標的質性反饋，著重於易用性、信任與決策支援。
• 識別出驅動終端用戶對解釋需求的十項核心解釋目標，包括信任校準、偏見檢測與利益相關者溝通等。
• 運用研究發現，為新 XAI 算法生成技術規格與評估指標，使其與終端用戶需求一致。
• 釋出 EUCA 研究資料集與相關資料，以促進可重現性，並支援未來以使用者為中心的 XAI 研究。

实验结果

研究问题

• RQ1 在高風險人工智慧輔助任務中，非技術性終端用戶認為哪種解釋形式（特徵、範例、規則）最具用處且最易理解？
• RQ2 驅動終端用戶請求人工智慧解釋的主要解釋目標為何？這些目標在不同應用領域間有何差異？
• RQ3 終端用戶在做決策時如何比較與對比不同解釋形式？影響其偏好的因素有哪些？
• RQ4 現有的 XAI 技術在多大程度上滿足了終端用戶的實際需求？它們在哪些方面仍顯不足？
• RQ5 如何系統性地將終端用戶對 XAI 的需求轉化為新 XAI 算法與評估指標的技術規格？

主要发现

• 終端用戶在醫療與金融決策任務中，一致偏好範例基礎的解釋（如相似、反事實與典型範例），因其在清晰度與信任校準方面表現更佳。
• 最常被提及的解釋目標是「校準信任」——使用者尋求解釋以驗證人工智慧的決策是否符合其自身判斷或領域知識。
• 使用者對能協助檢測模型偏見的解釋有強烈需求，特別是在刑事司法與醫療等高風險領域。
• 使用者因解釋的可解釋性不足與技術複雜性，難以理解特徵基礎的解釋（如顯著性圖），常導致混淆或不信任。
• 研究發現，解釋目標如「解決使用者與人工智慧之間的意見分歧」與「改善預測結果」對使用者參與度與決策信心至關重要。
• EUCA 資料集與研究發現為開發符合終端用戶需求的新 XAI 評估指標與算法奠定基礎，對安全關鍵系統的實際部署具有直接影響。