[논문 리뷰] Lessons Learned from EXMOS User Studies: A Technical Report Summarizing Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform

Aditya Bhattacharya, Simone Stumpf외 3명|arXiv (Cornell University)|2023. 10. 03.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 의료 전문가를 대상으로 한 상호작용형 기계학습 시스템인 EXMOS 플랫폼을 평가하며, 데이터 중심, 모델 중심, 하이브리드 설명 방식이 모델 신뢰도, 이해 가능성, 성능 향상에 미치는 영향을 비교한다. 결과적으로 하이브리드 접근 방식—두 설명 유형을 통합한 방식—이 독립적인 설명보다 모델 향상에서 유의미하게 뛰어나며, 작업 부하가 더 높음에도 불구하고 도메인 전문가-AI 협업에서 복합적 설명 가능성의 핵심 역할을 확인한다.

ABSTRACT

In the realm of interactive machine-learning systems, the provision of explanations serves as a vital aid in the processes of debugging and enhancing prediction models. However, the extent to which various global model-centric and data-centric explanations can effectively assist domain experts in detecting and resolving potential data-related issues for the purpose of model improvement has remained largely unexplored. In this technical report, we summarise the key findings of our two user studies. Our research involved a comprehensive examination of the impact of global explanations rooted in both data-centric and model-centric perspectives within systems designed to support healthcare experts in optimising machine learning models through both automated and manual data configurations. To empirically investigate these dynamics, we conducted two user studies, comprising quantitative analysis involving a sample size of 70 healthcare experts and qualitative assessments involving 30 healthcare experts. These studies were aimed at illuminating the influence of different explanation types on three key dimensions: trust, understandability, and model improvement. Results show that global model-centric explanations alone are insufficient for effectively guiding users during the intricate process of data configuration. In contrast, data-centric explanations exhibited their potential by enhancing the understanding of system changes that occur post-configuration. However, a combination of both showed the highest level of efficacy for fostering trust, improving understandability, and facilitating model enhancement among healthcare experts. We also present essential implications for developing interactive machine-learning systems driven by explanations. These insights can guide the creation of more effective systems that empower domain experts to harness the full potential of machine learning

연구 동기 및 목표

• 다양한 유형의 글로벌 설명—데이터 중심 및 모델 중심—이 의료 전문가가 기계학습 모델을 개선하는 데 미치는 영향을 조사하기 위해.
• 이러한 설명이 상호작용형 기계학습 시스템에서 신뢰도, 이해 가능성, 모델 성능에 미치는 영향을 평가하기 위해.
• 도메인 전문가가 데이터 설정 및 모델 최적화를 지원하는 데 기여하는 상호작용형 설명 가능 AI 시스템의 설계 원칙을 도출하기 위해.
• 다양한 설명 조건 하에서 수동 대비 자동 데이터 설정 접근 방식을 비교하기 위해.

제안 방법

• 의료 분야의 참가자 70명(정량적)과 30명(정성적)을 대상으로 두 번의 사용자 연구를 수행하였다.
• 당뇨병 예측 데이터셋을 기반으로 랜덤 포레스트 모델을 사용하여 프로토타입 XIL 시스템을 개발하였다.
• 세 가지 대시보드 버전을 구현: 데이터 중심 설명(DCE), 모델 중심 설명(MCE), 그리고 양자를 통합한 하이브리드(HYB).
• 모델 정확도, 작업 부하, 설정 시간 등의 정량적 데이터와 사용성 및 신뢰도에 대한 정성적 피드백을 수집하였다.
• 학습 데이터 요약, 데이터 품질 지표, 설정 후 시스템 변경 사항을 시각화하여 표시하였다.
• 행동 가능성을 향상시키기 위해 국소 설명(예: 역설적 사례 및 '무엇이 만약' 분석)을 글로벌 설명에 통합하였다.

실험 결과

연구 질문

• RQ1 데이터 중심 및 모델 중심 글로벌 설명은 의료 전문가가 예측 모델 정확도를 향상시키는 데 어떤 영향을 미치는가?
• RQ2 설명 유형이 사용자가 모델 및 시스템 동작에 대해 느끼는 신뢰도와 이해 가능성에 어떤 영향을 미치는가?
• RQ3 데이터 중심 및 모델 중심 설명의 조합은 수동 대비 자동 데이터 설정 성능에 어떤 영향을 미치는가?
• RQ4 모델 중심 설명은 높은 사용자 참여 시간에도 불구하고 효과적인 데이터 설정을 이끌지 못하는 이유는 무엇인가?
• RQ5 의료 XIL 시스템에서 설명의 행동 가능성과 투명성을 향상시키는 데 기여하는 설계 요소는 무엇인가?

주요 결과

• 하이브리드(HYB) 설명 대시보드가 가장 높은 모델 성능 향상을 보였으며, DCE 및 MCE 조건보다 유의미하게 뛰어났다.
• HYB 사용자는 더 높은 작업 부하와 평균 허브 시간을 경험했음에도 불구하고 수동 데이터 설정 성능이 뛰어났으며, 설명에 대한 깊은 참여를 보였다.
• 모델 중심 설명 사용자(MCE)는 평균적으로 더 오랜 시간을 할애했지만 모델 정확도 향상에 유의미한 영향을 미치지 못했으며, 데이터 설정에 대한 유용한 안내가 부족함을 시사했다.
• MCE 대시보드에서 데이터 품질 정보가 부족하여 자동 보정 사항을 이해하는 데 소요되는 시간이 줄었으며, 이는 모델 향상에 악영향을 미쳤다.
• 데이터 중심 설명은 데이터 역학의 통합적 시각화 덕분에 설정 후 시스템 변경 사항을 이해하는 데 더 효과적이었다.
• 정성적 피드백은 데이터 수집 과정의 공개와 데이터 품질 정보 제공이 투명성 및 신뢰 구축에 있어 가치가 있음을 강조했다.