[논문 리뷰] What do we need to build explainable AI systems for the medical domain?

Andreas Holzinger, Chris Biemann외 2명|arXiv (Cornell University)|2017. 12. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 632

한 줄 요약

이 논문은 의료 분야와 관련된 설명가능한-AI 접근법을 고찰하고, 사후(post-hoc)와 ante-hoc 설명가능성의 차이를 대조하며, 임상 AI 시스템의 투명성과 신뢰를 촉진하기 위한 이미지, *omics 데이터, 텍스트에 대한 방법과 표현을 논의한다.

ABSTRACT

Artificial intelligence (AI) generally and machine learning (ML) specifically demonstrate impressive practical success in many different application domains, e.g. in autonomous driving, speech recognition, or recommender systems. Deep learning approaches, trained on extremely large data sets or using reinforcement learning methods have even exceeded human performance in visual tasks, particularly on playing games such as Atari, or mastering the game of Go. Even in the medical domain there are remarkable results. The central problem of such models is that they are regarded as black-box models and even if we understand the underlying mathematical principles, they lack an explicit declarative knowledge representation, hence have difficulty in generating the underlying explanatory structures. This calls for systems enabling to make decisions transparent, understandable and explainable. A huge motivation for our approach are rising legal and privacy aspects. The new European General Data Protection Regulation entering into force on May 25th 2018, will make black-box approaches difficult to use in business. This does not imply a ban on automatic learning approaches or an obligation to explain everything all the time, however, there must be a possibility to make the results re-traceable on demand. In this paper we outline some of our research topics in the context of the relatively new area of explainable-AI with a focus on the application in medicine, which is a very special domain. This is due to the fact that medical professionals are working mostly with distributed heterogeneous and complex sources of data. In this paper we concentrate on three sources: images, *omics data and text. We argue that research in explainable-AI would generally help to facilitate the implementation of AI/ML in the medical domain, and specifically help to facilitate transparency and trust.

연구 동기 및 목표

• 데이터의 복잡성, 이질성, 규제/윤리적 고려사항으로 인한 의학에서의 설명가능한 AI 필요성의 동기를 제시한다.
• 데이터 모달리티(이미지, *omics 데이터, 텍스트) 전반에 걸친 설명가능한 접근법을 식별하고 논의하여 투명성과 신뢰를 가능하게 한다.
• 의료 AI에서 예측 성능과 해석가능성 간의 trade-off를 강조한다.
• 의사결정 지원을 돕기 위해 사람-컴퓨터 상호작용과 기계학습을 통합하는 방법론적 방향을 제안한다.

제안 방법

• 사후(post-hoc) 설명가능성(로컬, 모델-독립적 설명인 LIME 등)과 사전(ante-hoc) 설명가능성(설계상 해석가능한 모델들인 선형모형, 의사결정 트리, GAMs)을 구분한다.
• 설명 방법의 예로 LIME, BETA, 픽셀 단위 분해, 활성화 최대화 등을 이용한 분류기 해석 방법을 설명한다.
• 클래스 개념에 대한 해석 가능 프로토타입을 생성하기 위해 제너러티브 모델(RBMs, GANs) 사용을 논의한다.
• AM-FM 분해와 이를 의료 이미지에 대한 의미있고 시각화 가능한 특징으로서의 역할을 설명한다.
• 의미있고 깊은 네트워크 특징을 통합하기 위해 AM-FM 인공신경망 및 하이브리드 AM-FM 구조를 제안한다.
• GAMs, Bayesian 규칙 리스트와 같은 해석가능한 모델과 역상층망(deconvolutional nets), VQA에서 영감을 받은 설명 방식과 같은 시각화 전략을 통해 의사결정을 추적하도록 옹호한다.

실험 결과

연구 질문

• RQ1 의료에서 데이터 이질성과 임상적 필요를 고려할 때 어떤 설명가능-AI 접근법이 적합한가?
• RQ2 의료 전문가에게 이미지, *omics 데이터, 텍스트 전반에서 의미있는 설명을 설계, 구현, 검증하려면 어떻게 해야 하는가?
• RQ3 의료 AI 시스템에서 예측 성능과 해석가능성 사이의 적절한 균형은 무엇인가?
• RQ4 설명가능한 의료 AI에서 신뢰, 안전성, 책임성을 지원하기 위해 인간-컴퓨터 상호작용 원칙을 어떻게 통합할 수 있는가?

주요 결과

• 의사 분야의 설명가능성은 사후(post-hoc) 또는 선행(ante-hoc) 패러다임을 따를 수 있으며, 각각 고유한 장점과 한계가 있다.
• AM-FM 분해는 해석 가능하고 시각적인 표현을 제공하여 의료 영상의 이해를 돕고 특징 시각화를 지원할 수 있다.
• 활성화 최적화를 통해 프로토타입 기반의 설명은 데이터 밀도 선행(priors)이나 제너레이티브 모델로 보강하여 그럴듯한 프로토타입을 생성할 수 있다.
• 역상층망(deconvolutional nets)과 VQA에서 영감을 얻은 방법은 네트워크 활성화를 인간이 이해할 수 있는 개념과 설명으로 매핑하는 데 도움을 준다.
• GAMs와 Bayesian 규칙 리스트와 같은 해석가능한 모델은 대규모 의료 데이터셋에서도 경쟁력 있는 정확도를 달성하면서도 이해 가능성을 유지할 수 있다.
• AM-FM 특징과 해석가능한 아키텍처의 통합은 불투명한 심층 표현에 대한 의존도를 줄이고 의료 AI의 투명성을 향상시킬 수 있다.