[논문 리뷰] Why we do need Explainable AI for Healthcare

Giovanni Cinà, Tabea E. Röber외 2명|arXiv (Cornell University)|2022. 06. 30.

Artificial Intelligence in Healthcare and Education인용 수 14

한 줄 요약

이 논문은 타당한 비판에도 불구하고 의료 분야에서 해석 가능성 있는 인공지능(XAI)이 필수적이라고 주장한다. XAI는 인간의 감시를 가능하게 하고, 편향과 통제력 상실의 위험을 완화하며, 임상 의사결정에 대한 신뢰할 수 있는 AI 통합을 지원한다. 저자들은 임상의의 주도권을 유지하고 환자 치료의 비인간화를 방지하기 위해 XAI 기술의 지속적인 연구와 책임감 있는 도입을 주장한다.

ABSTRACT

The recent spike in certified Artificial Intelligence (AI) tools for healthcare has renewed the debate around adoption of this technology. One thread of such debate concerns Explainable AI and its promise to render AI devices more transparent and trustworthy. A few voices active in the medical AI space have expressed concerns on the reliability of Explainable AI techniques, questioning their use and inclusion in guidelines and standards. Revisiting such criticisms, this article offers a balanced and comprehensive perspective on the utility of Explainable AI, focusing on the specificity of clinical applications of AI and placing them in the context of healthcare interventions. Against its detractors and despite valid concerns, we argue that the Explainable AI research program is still central to human-machine interaction and ultimately our main tool against loss of control, a danger that cannot be prevented by rigorous clinical validation alone.

연구 동기 및 목표

• 해석 가능성 있는 인공지능(XAI)의 신뢰성과 유용성에 대한 점점 커지는 우려를 다루기 위해
• 의료 환경에서의 정확성, 사용성, 적합성에 대한 의문을 제기하는 XAI 기법에 대한 비판을 평가하고 반박하기 위해
• 의료 분야에서 점점 더 복잡해지는 인공지능 시스템에 대한 인간의 감시와 통제를 유지하기 위해 XAI가 여전히 핵심적임을 주장하기 위해
• XAI는 임상 검증의 대체가 아니며, 안전성과 신뢰성 확보를 위해 반드시 필요한 보완적 요소임을 강조하기 위해
• 다양한 사용자 요구와 임상 환경에 맞게 조정된 책임감 있는 XAI 개발 및 도입을 촉진하기 위해

제안 방법

• 의료 분야에서 XAI에 대한 주요 비판을 체계적으로 검토하고 비판적으로 평가하기 위해
• 국소적 및 글로벌, 모델 특화 및 모델 독립적 XAI 기법을 구분하며, 블랙박스 모델에 대한 사후 설명에 중점을 두기 위해
• 대역변화, 분포 이탈, 신뢰할 수 없는 설명과 같은 실패 모드를 분석하면서, 인지와 개선을 통해 이러한 문제들이 관리 가능하다고 주장하기 위해
• XAI가 편향 탐지, 임상 의사결정 지원, 감사 가능성 및 책임성 확보에 기여하는 방식을 평가하기 위해
• 단일 기법을 강제하지 않고도 영향을 미칠 수 있는 다양한 사용자 요구와 유형에 맞게 탄력적이고 사용자 중심의 XAI 사용을 가능하게 하는 규제 및 방법론적 프레임워크 제안하기 위해
• 다양한 임상 사용자 요구를 충족시키기 위해 상호작용 기반 머신러닝과 맥락 인식 설명 설계에 중점을 두기 위해

실험 결과

연구 질문

• RQ1 적대적 공격과 분포 이탈과 같은 알려진 실패 모드가 존재하더라도 XAI 기법은 신뢰할 수 있는가?
• RQ2 XAI는 고위험 의료 AI 응용 분야에서 인간의 감시를 얼마나 잘 지원하고 통제력 상실을 방지할 수 있는가?
• RQ3 임상 AI 시스템에서 모델 성능과 설명 가능성 사이에 타당한 트레이드오프가 존재하는가?
• RQ4 일괄적인 접근 없이 XAI는 다양한 임상 사용자와 응용 분야에 어떻게 적응시킬 수 있는가?
• RQ5 편향과 예기치 않은 결과의 위험이 높은 만큼, 다른 분야에 비해 의료 분야에서 XAI가 특히 필요한 이유는 무엇인가?

주요 결과

• 적대적 노이즈에 취약하거나 신뢰할 수 없는 설명을 제공할 수 있는 한계가 있음에도 불구하고, XAI 기법은 인공지능 기반 의료 분야에서 투명성과 신뢰를 향상시키는 데 유용한 도구로 남아 있다.
• XAI는 임상의가 편향을 탐지하고 모델의 행동을 이해하며, 임상 전문 지식과 결합할 경우 더 나은 의사결정을 내리는 데 도움이 된다.
• 설명 가능성에 대한 객관적인 기준은 없지만, 이는 XAI를 무효화하지는 않으며, 오히려 맥락 기반 평가와 지속적인 개선이 필요하다는 것을 의미한다.
• XAI는 철저한 임상 검증의 대체가 아니며, 예기치 않은 피해를 방지하기 위한 필수적인 추가 감시층을 제공한다.
• AI가 표면적인 상관관계에 의존하거나 소수 집단에서 성능이 열 劣하는 것의 잠재력은 의료 분야에서 설명 가능성의 필요성을 강조한다.
• 저자들은 XAI를 포기하는 것이 아니라 오히려 활발히 발전시켜야 한다고 결론 내리며, 이는 인간의 통제 유지와 환자 치료의 비인간화 방지를 위해 핵심적이라고 주장한다.