[논문 리뷰] Using Explainable Artificial Intelligence to Increase Trust in Computer Vision.

Christian Meske, Enrico Bunde|arXiv (Cornell University)|2020. 02. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 5

한 줄 요약

이 논문은 의료 영상 분석에서 딥러닝 모델의 예측을 해석함으로써 컴퓨터 비전 시스템에 대한 신뢰를 향상시키기 위해 설명 가능한 인공지능(XAI)을 사용하는 것을 제안한다. XAI가 말라리아 혈액 도말 영상에서의 진단 결정 과정을 어떻게 드러내는지 보여주며, CNN 및 MLP와 같은 모델들이 일관되지 않거나 관련성이 없는 특징을 사용하는 경향을 폭 드러내고, 설명 가능성의 향상이 투명성과 예측 가능성 향상에 기여함을 강조한다.

ABSTRACT

Computer Vision, and hence Artificial Intelligence-based extraction of information from images, has increasingly received attention over the last years, for instance in medical diagnostics. While the algorithms' complexity is a reason for their increased performance, it also leads to the problem, consequently decreasing trust towards AI. In this regard, Explainable Artificial Intelligence (XAI) allows to open that black box and to improve the degree of AI transparency. In this paper, we first discuss the theoretical impact of explainability on trust towards AI, followed by showcasing how the usage of XAI in a health-related setting can look like. More specifically, we show how XAI can be applied to understand why Computer Vision, based on deep learning, did or did not detect a disease (malaria) on image data (thin blood smear slide images). Furthermore, we investigate, how XAI can be used to compare the detection strategy of two different deep learning models often used for Computer Vision: Convolutional Neural Network and Multi-Layer Perceptron. Our empirical results show that i) the AI sometimes used questionable or irrelevant data features of an image to detect malaria (even if correctly predicted), and ii) that there may be significant discrepancies in how different deep learning models explain the same prediction. Our theoretical discussion highlights that XAI can support trust in Computer Vision systems, and AI systems in general, especially through an increased understandability and predictability.

연구 동기 및 목표

• 설명 가능한 인공지능(XAI)이 투명성과 해석 가능성 향상을 통해 컴퓨터 비전 시스템에 대한 신뢰를 어떻게 향상시킬 수 있는지 조사하기 위해.
• 딥러닝 모델인 CNN 및 MLP가 얇은 혈액 도말 슬라이드에서 말라리아를 감지하기 위해 이미지 특징을 어떻게 사용하는지 분석하기 위해.
• 정확한 예측을 할 때 모델이 관련성 있는지 의심스러운 특징에 의존하는지 확인하기 위해.
• 동일한 진단 작업에 대해 서로 다른 딥러닝 아키텍처의 설명 전략을 비교하기 위해.
• XAI가 AI 기반 의료 진단의 이해 가능성과 예측 가능성에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 의료 영상 데이터에 대한 딥러닝 모델의 예측을 해석하기 위해 XAI 기법을 적용하기 위해.
• 선택도 맵과 주의력 시각화를 사용하여 모델 결정에 영향을 준 이미지 영역을 식별하기 위해.
• 두 모델인 컨volution 신경망(CNNs)과 다층 퍼셉트론(MLPs)의 설명 출력을 비교하기 위해.
• 정확한 말라리아 감지 예측에 대해 XAI가 강조한 특징의 일관성과 관련성을 분석하기 위해.
• 동일한 입력 이미지를 사용했을 때 모델 간 설명 패턴의 격차를 평가하기 위해.
• 모델 설명 가능성의 이론적 및 실용적 영향을 AI 기반 진단에 대한 신뢰에 미치는 영향을 평가하기 위해.

실험 결과

연구 질문

• RQ1 XAI는 투명성과 해석 가능성 향상을 통해 컴퓨터 비전 시스템에 대한 신뢰를 어떻게 향상시키는가?
• RQ2 딥러닝 모델이 말라리아를 감지할 때 관련성 있거나 의심스러운 이미지 특징를 얼마나 사용하는가?
• RQ3 동일한 의료 영상을 분류할 때 CNN과 MLP의 설명 전략은 어떻게 다른가?
• RQ4 예측이 정확하더라도 XAI는 모델 결정 과정의 일관성 없음이나 편향을 드러낼 수 있는가?
• RQ5 모델 설명 가능성은 의료 진단에서 AI의 예측 가능성과 이해 가능성에 어떤 영향을 미치는가?

주요 결과

• AI는 때때로 정확한 말라리아 감지를 위해 의심스럽거나 관련성이 없는 이미지 특징에 의존하는 경우가 있었으며, 이는 결정 과정에 잠재적 결함이 있음을 시사한다.
• 예측이 정확했음에도 불구하고 일부 경우에서 모델이 생물학적 또는 진단적으로 의미 없는 특징을 사용하는 것으로 나타났다.
• CNN과 MLP가 동일한 예측을 설명하는 방식에 상당한 격차가 관찰되어 서로 다른 추론 경로를 따르는 것으로 나타났다.
• XAI는 서로 다른 모델이 동일한 결론에 도달하기 위해 완전히 다른 시각적 단서를 사용할 수 있음을 드러내어 일관성에 대한 우려를 제기한다.
• 이 연구는 XAI가 투명성을 높이고 이해 가능성과 예측 가능성을 향상시킴으로써 신뢰를 강화함을 확인한다.
• 설명 가능성은 정확성 외에도 임상적 기대치와 추론 방식에 부합하는지 보장하기 위해 필수적이다.