[論文レビュー] Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform

Aditya Bhattacharya, Simone Stumpf+3 more|arXiv (Cornell University)|Oct 3, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本論文は、医療分野の専門家を対象としたインタラクティブな機械学習システムであるEXMOSプラットフォームを評価し、データ中心、モデル中心、ハイブリッドの説明を比較することで、モデルの信頼性、理解可能性、パフォーマンスの向上に寄与する方法を検討している。結果として、ハイブリッドアプローチ（両方の説明タイプを統合）が、単独の説明よりも顕著に優れたモデル改善を達成した。これは、作業負荷が高くなるものの、ドメイン専門家とAIの協働における説明の統合的役割の重要性を示している。

ABSTRACT

In the realm of interactive machine-learning systems, the provision of explanations serves as a vital aid in the processes of debugging and enhancing prediction models. However, the extent to which various global model-centric and data-centric explanations can effectively assist domain experts in detecting and resolving potential data-related issues for the purpose of model improvement has remained largely unexplored. In this technical report, we summarise the key findings of our two user studies. Our research involved a comprehensive examination of the impact of global explanations rooted in both data-centric and model-centric perspectives within systems designed to support healthcare experts in optimising machine learning models through both automated and manual data configurations. To empirically investigate these dynamics, we conducted two user studies, comprising quantitative analysis involving a sample size of 70 healthcare experts and qualitative assessments involving 30 healthcare experts. These studies were aimed at illuminating the influence of different explanation types on three key dimensions: trust, understandability, and model improvement. Results show that global model-centric explanations alone are insufficient for effectively guiding users during the intricate process of data configuration. In contrast, data-centric explanations exhibited their potential by enhancing the understanding of system changes that occur post-configuration. However, a combination of both showed the highest level of efficacy for fostering trust, improving understandability, and facilitating model enhancement among healthcare experts. We also present essential implications for developing interactive machine-learning systems driven by explanations. These insights can guide the creation of more effective systems that empower domain experts to harness the full potential of machine learning

研究の動機と目的

• 異なるタイプのグローバルな説明（データ中心およびモデル中心）が、医療専門家の機械学習モデルの改善能力に与える影響を調査すること。
• これらの説明が、インタラクティブな機械学習システムにおける信頼性、理解可能性、およびモデルパフォーマンスに与える影響を評価すること。
• ドメイン専門家がデータ設定とモデル最適化を支援するための、インタラクティブな説明可能AIシステムの設計原則を特定すること。
• さまざまな説明条件下での手動対自動のデータ設定アプローチを比較すること。

提案手法

• 医療分野の専門家70名の定量的参加者と30名の定性的参加者を対象とした2つのユーザースタディーを実施した。
• 糖尿病予測データセットを用いてランダムフォレストモデルを活用したプロトタイプXILシステムを開発した。
• 3つのダッシュボードバージョンを実装した：データ中心説明（DCE）、モデル中心説明（MCE）、および両方を統合したハイブリッド（HYB）。
• モデルの正確性、作業負荷、設定時間の定量的情報と、使いやすさと信頼性に関する定性的フィードバックを収集した。
• トレーニングデータの要約、データ品質指標、設定後のシステム変更を可視化して表示した。
• 行動可能性を高めるために、局所的説明（例：反事後やWhat-if）をグローバル説明に統合した。

実験結果

リサーチクエスチョン

• RQ1 データ中心およびモデル中心のグローバル説明は、医療専門家の予測モデルの正確性向上能力にどのように影響するか？
• RQ2 説明タイプの違いが、ユーザーのモデルおよびシステム動作に対する信頼性と理解可能性に与える影響は何か？
• RQ3 データ中心およびモデル中心の説明の組み合わせは、手動対自動のデータ設定パフォーマンスにどのように影響するか？
• RQ4 モデル中心の説明は、ユーザーの関与時間は長いにもかかわらず、なぜ効果的なデータ設定を導くことができなかったのか？
• RQ5 医療分野のXILシステムにおいて、説明の行動可能性と透明性を高めるための設計要因は何か？

主な発見

• ハイブリッド（HYB）説明ダッシュボードが、DCEおよびMCE条件よりも顕著に高いモデルパフォーマンス向上を達成した。
• HYBユーザーは、作業負荷が高く、平均ホバータイムも長かったにもかかわらず、より良い手動データ設定を達成した。これは、説明に対してより深い関与がなされていたことを示している。
• モデル中心説明ユーザー（MCE）は平均して長時間関与していたが、モデル正確性に顕著な向上は見られず、データ設定に対するガイドラインが限られていた。
• MCEダッシュボードにデータ品質情報が欠如していたため、自動補正の理解に費やす時間が減少し、モデルの改善が損なわれた。
• データ中心の説明は、データダイナミクス全体像を提供するため、設定後のシステム変更の理解に有効であった。
• 定性的フィードバックでは、データ収集プロセスの開示とデータ品質の詳細が、透明性と信頼構築に価値があると強調された。