[논문 리뷰] Explainable Artificial Intelligence for Human Decision-Support System in Medical Domain

Samanta Knapic̆, Avleen Malhi외 2명|arXiv (Cornell University)|2021. 05. 05.

Colorectal Cancer Screening and Detection인용 수 4

한 줄 요약

이 연구는 의료 영상 분석에서 설명 가능한 인공지능(XAI) 방법 세 가지—LIME, SHAP, CIU—를 비디오 캡슐 엔도스코피 데이터를 사용하여 평가하여 임상 환경에서 신뢰도와 의사결정을 향상시키고자 한다. CIU는 인간의 의사결정 지원, 투명성, 설명 속도 측면에서 LIME 및 SHAP를 뛰어넘었으며, AI 보조 진단 분야에서 임상 적용 가능성을 보여주었다.

ABSTRACT

In the present paper we present the potential of Explainable Artificial Intelligence methods for decision-support in medical image analysis scenarios. With three types of explainable methods applied to the same medical image data set our aim was to improve the comprehensibility of the decisions provided by the Convolutional Neural Network (CNN). The visual explanations were provided on in-vivo gastral images obtained from a Video capsule endoscopy (VCE), with the goal of increasing the health professionals' trust in the black box predictions. We implemented two post-hoc interpretable machine learning methods LIME and SHAP and the alternative explanation approach CIU, centered on the Contextual Value and Utility (CIU). The produced explanations were evaluated using human evaluation. We conducted three user studies based on the explanations provided by LIME, SHAP and CIU. Users from different non-medical backgrounds carried out a series of tests in the web-based survey setting and stated their experience and understanding of the given explanations. Three user groups (n=20, 20, 20) with three distinct forms of explanations were quantitatively analyzed. We have found that, as hypothesized, the CIU explainable method performed better than both LIME and SHAP methods in terms of increasing support for human decision-making as well as being more transparent and thus understandable to users. Additionally, CIU outperformed LIME and SHAP by generating explanations more rapidly. Our findings suggest that there are notable differences in human decision-making between various explanation support settings. In line with that, we present three potential explainable methods that can with future improvements in implementation be generalized on different medical data sets and can provide great decision-support for medical experts.

연구 동기 및 목표

• 의료 영상 분석에서 블랙박스 AI 예측의 이해 가능성과 신뢰성을 향상시키기 위해, 특히 임상 의사결정 지원에 초점을 맞춘다.
• 설명 가능한 인공지능(XAI) 방법이 AI가 생성한 진단을 해석할 때 인간의 의사결정 정확도와 투명성을 향상시킬 수 있는지 평가한다.
• 동일한 의료 영상 데이터셋에서 LIME, SHAP, 그리고 새로운 CIU 접근법이라는 세 가지 XAI 방법의 효과성을 비교한다.
• 비의료 전문가를 대상으로 다양한 설명 유형이 사용자 이해도 및 의사결정 성과에 미치는 영향을 평가한다.
• 특히 영역 전문가들과의 통합을 고려해 향후 실제 임상 환경에서 XAI를 구현하기 위한 실질적인 통찰을 제공한다.

제안 방법

• 비디오 캡슐 엔도스코피에서 확보한 생체 내 위 영상에 대해 CNN 예측의 국소적이고 인스턴스 수준의 설명을 생성하기 위해 사후 설명 방법인 LIME과 SHAP를 적용한다.
• 게임 이론 원리를 활용해 특징 중요도를 맥락적 유용성 기반으로 계산하는 CIU(Contextual Value and Utility) 방법을 구현하며, LIME 및 SHAP보다 더 종합적인 설명을 제공한다.
• 각 방법에 대해 시각적 설명(예: 선명도 맵)을 생성하여 모델의 예측에 기여한 영역을 강조한다.
• 비의료 참가자 60명(각 방법별 20명)을 대상으로 웹 기반 사용자 연구를 세 차례 실시하여 설명의 명확성, 신뢰도, 의사결정 정확도를 평가한다.
• 정량적 지표인 정확한 의사결정 비율 및 설명 이해도 점수를 사용하여 세 가지 XAI 방법 간의 성능을 비교한다.
• 설명 유무 조건 하에서의 성과를 평가하여 설명 지원이 인간 성과에 미치는 영향을 측정한다.

실험 결과

연구 질문

• RQ1 RQ1: 설명 가능한 인공지능은 의료 분야의 AI 기반 컴퓨터 비전 시스템의 신뢰성에 기여하는가?
• RQ2 RQ2: 다양한 XAI 접근법은 의료 영상 분석에서 효과적인 인간 의사결정 지원 시스템으로 기능할 수 있는가?
• RQ3 RQ3: LIME, SHAP, CIU와 같은 다른 설명 방법들은 사용성, 투명성, 인간 의사결정 정확도에 미치는 영향 측면에서 어떻게 비교될 수 있는가?
• RQ4 RQ4: 설명 지원이 존재할 경우 사용자가 설명이 없는 경우보다 더 많은 정확한 결정을 내릴 수 있는가?
• RQ5 RQ5: LIME, SHAP, CIU 간에 설명 이해도 및 의사결정 성과에 측정 가능한 차이가 존재하는가?

주요 결과

• CIU 방법은 인간의 의사결정 정확도 향상 측면에서 LIME 및 SHAP를 뚜렷이 뛰어넘었으며, CIU 설명을 기반으로 한 사용자가 더 많은 정확한 결정을 내렸다.
• 사용자 평가 결과, CIU 설명은 LIME 및 SHAP보다 더 투명하고 이해하기 쉬운 것으로 평가되어 사용자 이해도가 높다는 것을 시사한다.
• CIU는 LIME 및 SHAP보다 더 빠른 속도로 설명을 생성하여 설명 제공의 계산 효율성이 뛰어나다는 것을 보여주었다.
• 반면 다른 방법들과 달리, SHAP 연구에서는 설명이 없는 조건에서 더 많은 정확한 결정이 내려진 것으로 나타나, SHAP 설명이 사용자에게 혼란스럽거나 오해의 소지가 있었을 가능성을 시사한다.
• 설명 지원은 두 번의 사용자 연구(일반적으로 LIME 및 CIU)에서 정확한 결정 수를 증가시켰지만, SHAP 연구에선 그러한 효과가 없었으며, 이는 인간 인지에 미치는 방법 간의 특수성에 기인함을 보여준다.
• 결과적으로 모든 XAI 방법이 인간 의사결정 지원에 동일하게 기여하지는 않으며, 설명 방법의 선택이 사용자 신뢰도 및 성과에 상당한 영향을 미친다는 점을 시사한다.