[논문 리뷰] What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps

Katharina Weitz, Alexander Zellner외 1명|arXiv (Cornell University)|2022. 10. 07.

Persona Design and Applications인용 수 4

한 줄 요약

이 논문은 스트레스 모니터링 애플리케이션에서 설명 스타일과 내용에 대한 종사자들의 선호도를 조사한 온라인 설문 조사 기반으로, 사용자 중심의 퍼스널리티 프레임워크를 제안하여 인간 중심의 설명 가능한 인공지능(XAI)을 모바일 헬스 앱에 구현하는 데 안내한다. 주요 기여는 세 가지 원형 사용자 퍼스널리티—파워 사용자, 캐주얼 사용자, 프라이버시 중심 사용자—를 규명한 것으로, 설명 선호도가 연령, 성격, 맞춤형 설정에 크게 영향을 받으며, 상호작용성과 데이터 투명성이 사용자 수용에 핵심적임을 입증한다.

ABSTRACT

In healthcare, AI systems support clinicians and patients in diagnosis, treatment, and monitoring, but many systems' poor explainability remains challenging for practical application. Overcoming this barrier is the goal of explainable AI (XAI). However, an explanation can be perceived differently and, thus, not solve the black-box problem for everyone. The domain of Human-Centered AI deals with this problem by adapting AI to users. We present a user-centered persona concept to evaluate XAI and use it to investigate end-users preferences for various explanation styles and contents in a mobile health stress monitoring application. The results of our online survey show that users' demographics and personality, as well as the type of explanation, impact explanation preferences, indicating that these are essential features for XAI design. We subsumed the results in three prototypical user personas: power-, casual-, and privacy-oriented users. Our insights bring an interactive, human-centered XAI closer to practical application.

연구 동기 및 목표

• 연구자 중심의 XAI와 모바일 헬스 애플리케이션의 종사자 요구 사이의 격차를 해소하기 위해.
• 종사자들의 인구통계학적 특성, 성격 특성, 설명 선호도가 다양한 스타일과 콘텐츠 유형 간에 어떻게 다양하게 나타나는지 조사하기 위해.
• 실증 데이터에 기반한 사용자 중심의 퍼스널리티 개념을 개발하여 실용적인 XAI 설계를 안내하기 위해.
• 개인화, 상호작용성, 설명 콘텐츠가 사용자 만족도와 참여도에 미치는 영향을 평가하기 위해.
• 이론적 연구에서 비롯된 XAI를 의료 앱에서 실용적이고 사용자 友好的한 구현으로 전환하는 데 기여하기 위해.

제안 방법

• 종사자들의 선호도를 수집하기 위해 모바일 스트레스 모니터링 앱에서 설명 스타일(예: 데이터 기반, 사진 기반, 라이브 설명)과 콘텐츠에 대한 온라인 설문 조사를 실시하였다.
• 인구통계학적, 성격, 선호도 데이터를 기반으로 클러스터링 및 정성적 분석을 적용하여 원형 사용자 퍼스널리티를 도출하였다.
• 설문 조사에서 설명 유형을 체계화하기 위해 XAI 기법의 분류체계—시각적, 기능 기반, 지식 추출, 예시 기반(예: 반대가정)을 적용하였다.
• 사용자 반응을 평가하기 위해 설명 만족도, 상호작용 의지, 개인화 및 데이터 투명성에 대한 선호도를 분석하였다.
• '앱에게 물어보기' 및 '라이브 설명' 유형을 설계하고 테스트하여 상호작용 효과를 평가하였다.
• 사용자 반응을 바탕으로 세 가지 명확한 퍼스널리티로 분류: 파워 사용자(세부 정보, 상호작용 중심), 캐주얼 사용자(직관적, 간결한 디자인), 프라이버시 중심 사용자(데이터 보호 중심).

실험 결과

연구 질문

• RQ1 종사자들의 인구통계학적 특성과 성격 특성이 모바일 헬스 앱에서 XAI 설명 스타일과 콘텐츠 선호도에 어떻게 영향을 미치는가?
• RQ2 어떤 설명 유형(예: 데이터 기반, 사진 기반, 라이브 설명)이 가장 선호되며, 사용자 만족도와 참여도를 이끄는 요인은 무엇인가?
• RQ3 XAI 시스템에서 개인화와 상호작용성이 사용자들이 시스템을 사용하고 신뢰할 의지를 높이는 데 얼마나 기여하는가?
• RQ4 사용자들이 설명에 대해 세부 정보를 원한다고 보고하는 것과 실제 설명과 상호작용할 때의 행동 사이에 어떤 차이가 있는가?
• RQ5 퍼스널리티 기반 접근 방식이 다양한 종사자 그룹을 대상으로 인간 중심의 XAI 설계를 효과적으로 표현하고 안내할 수 있는가?

주요 결과

• 사용자들은 사진 기반 설명보다 데이터 기반 설명을 더 선호하여, 건강 분야에서 사실 기반의 투명한 정보에 대한 강한 선호도를 보였다.
• 초기에는 세부적인 설명을 원한다고 표현했지만, 실제로는 너무 긴 설명이 반복되면서 방해가 되고 짜증스럽게 느껴져, 특히 반복적인 정보 전달에서 문제가 발생했다.
• '앱에게 물어보기'와 '라이브 설명' 유형이 가장 높은 찬사를 받았으며, 이는 사용자들이 파rameter 조정과 질문을 던질 수 있는 상호작용적, 동적 설명 시스템을 선호함을 시사한다.
• 설명의 개인화가 사용자 참여도를 크게 향상시켰으며, 사용자들은 설명이 자신의 필요에 맞게 맞춤화된 경우 더 많은 시간을 투자할 의향이 있었다.
• 세 가지 명확한 사용자 퍼스널리티가 도출되었다: 파워 사용자(세부 정보와 상호작용을 원함), 캐주얼 사용자(직관적이고 간결한 디자인을 선호함), 프라이버시 중심 사용자(데이터 보호와 최소한의 데이터 공유를 우선시함).
• 사용자들은 스트레스 예측 결과를 받을 때 자주 '왜?', '왜 아니면?', '어떻게?'라고 질문했으며, 이는 사용자 이해도와 신뢰를 높이기 위해 상호작용적이고 질문 중심의 설명 시스템이 중요함을 시사한다.