[论文解读] Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform

Aditya Bhattacharya, Simone Stumpf+3 more|arXiv (Cornell University)|Oct 3, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本文評估了EXMOS平台——一種面向醫療專家的互動式機器學習系統——透過比較以數據為中心、以模型為中心以及混合型解釋在提升模型信任度、可理解性與效能方面的表現。結果顯示，混合方法（整合兩種解釋類型）在模型改進方面顯著優於單獨使用任一類型的解釋，儘管使用者感知的任務負荷較高，突顯了結合解釋在領域專家與人工智慧協作中的關鍵作用。

ABSTRACT

In the realm of interactive machine-learning systems, the provision of explanations serves as a vital aid in the processes of debugging and enhancing prediction models. However, the extent to which various global model-centric and data-centric explanations can effectively assist domain experts in detecting and resolving potential data-related issues for the purpose of model improvement has remained largely unexplored. In this technical report, we summarise the key findings of our two user studies. Our research involved a comprehensive examination of the impact of global explanations rooted in both data-centric and model-centric perspectives within systems designed to support healthcare experts in optimising machine learning models through both automated and manual data configurations. To empirically investigate these dynamics, we conducted two user studies, comprising quantitative analysis involving a sample size of 70 healthcare experts and qualitative assessments involving 30 healthcare experts. These studies were aimed at illuminating the influence of different explanation types on three key dimensions: trust, understandability, and model improvement. Results show that global model-centric explanations alone are insufficient for effectively guiding users during the intricate process of data configuration. In contrast, data-centric explanations exhibited their potential by enhancing the understanding of system changes that occur post-configuration. However, a combination of both showed the highest level of efficacy for fostering trust, improving understandability, and facilitating model enhancement among healthcare experts. We also present essential implications for developing interactive machine-learning systems driven by explanations. These insights can guide the creation of more effective systems that empower domain experts to harness the full potential of machine learning

研究动机与目标

• 探討不同類型的全局解釋（以數據為中心與以模型為中心）如何影響醫療專家改進機器學習模型的能力。
• 評估這些解釋對互動式機器學習系統中信任度、可理解性與模型表現的影響。
• 識別支援領域專家進行資料設定與模型優化的互動式可解釋人工智慧系統的設計原則。
• 比較在不同解釋條件下，手動與自動化資料設定方法的表現。

提出的方法

• 在醫療領域招募70名量化參與者與30名質性參與者，進行兩項使用者研究。
• 基於糖尿病預測資料集，使用隨機森林模型開發原型XIL系統。
• 實作三種儀表板變體：以數據為中心的解釋（DCE）、以模型為中心的解釋（MCE），以及整合兩者的混合型（HYB）。
• 收集模型準確率、任務負荷與設定時間等量化數據，以及關於易用性與信任度的質性反饋。
• 使用視覺化方式呈現訓練資料摘要、資料品質指標，以及設定後的系統變更。
• 整合局部解釋（例如反事實與「如果…會怎樣」分析）以提升全局解釋的可操作性。

实验结果

研究问题

• RQ1 以數據為中心與以模型為中心的全局解釋如何影響醫療專家提升預測模型準確率的能力？
• RQ2 解釋類型對使用者對模型與系統行為的信任度與可理解性的影響為何？
• RQ3 以數據為中心與以模型為中心的解釋結合，如何影響手動與自動化資料設定的表現？
• RQ4 為何以模型為中心的解釋即使使用者投入較長時間，仍無法有效引導資料設定？
• RQ5 哪些設計特徵能提升醫療XIL系統中解釋的可操作性與透明度？

主要发现

• 混合型（HYB）解釋儀表板帶來最高的模型表現提升，顯著優於DCE與MCE兩種條件。
• HYB使用者在感知任務負荷較高且平均懸停時間較長的情況下，仍達成更佳的手動資料設定，顯示其對解釋有更深的參與。
• 以模型為中心解釋的使用者（MCE）平均花費更長時間，但模型準確率未顯著提升，顯示其對資料設定的引導作用有限。
• MCE儀表板缺乏資料品質資訊，導致使用者花較少時間理解自動修正，進而削弱模型改進效果。
• 以數據為中心的解釋因提供資料動態的整體視角，更有效地幫助使用者理解設定後的系統變更。
• 質性反饋強調揭露資料收集流程與提供資料品質細節，對於提升透明度與建立信任至關重要。