[논문 리뷰] Producing radiologist-quality reports for interpretable artificial intelligence

William A. Gale, Luke Oakden‐Rayner외 3명|arXiv (Cornell University)|2018. 06. 01.

Topic Modeling참고 문헌 17인용 수 23

한 줄 요약

이 논문은 깊이 학습 기반 의료 영상 분류를 위한 방사선의학 전문의 수준의 자연어 설명을 생성하기 위해 시각적 주의 메커니즘을 갖춘 순환 신경망을 사용하는 모델에 종속되지 않는 방법을 제안한다. 임상의들은 이 텍스트 설명을 단순한 색소 맵보다 선호하며, 특히 시각적 설명과 결합되었을 때 골절 위치(90%)와 특성(98%)을 높은 정확도로 기술하는 데 성공한다. 방사선의가 평가한 바에 따르면 이러한 설명은 높은 정확도를 보인다.

ABSTRACT

Current approaches to explaining the decisions of deep learning systems for medical tasks have focused on visualising the elements that have contributed to each decision. We argue that such approaches are not enough to "open the black box" of medical decision making systems because they are missing a key component that has been used as a standard communication tool between doctors for centuries: language. We propose a model-agnostic interpretability method that involves training a simple recurrent neural network model to produce descriptive sentences to clarify the decision of deep learning classifiers. We test our method on the task of detecting hip fractures from frontal pelvic x-rays. This process requires minimal additional labelling despite producing text containing elements that the original deep learning classification model was not specifically trained to detect. The experimental results show that: 1) the sentences produced by our method consistently contain the desired information, 2) the generated sentences are preferred by doctors compared to current tools that create saliency maps, and 3) the combination of visualisations and generated text is better than either alone.

연구 동기 및 목표

• 임상적으로 신뢰할 수 있는 AI를 제공하기 위해 임상의들이 신뢰하는 인간 중심의 설명을 생성함으로써 의료 분야의 해석 가능성에 대한 임상적 필요를 해결한다.
• 색소 맵의 한계를 극복하기 위해 진단적 추론을 전달하는 자연어 기반 설명을 도입한다.
• 기존 진단 데이터 외에 추가적인 레이블링이 최소한으로 필요한 모델에 종속되지 않는 방법을 개발한다.
• 생성된 텍스트 설명이 임상의들이 색소 맵만을 사용할 때보다 선호하는지 평가한다.
• 텍스트와 시각적 설명을 결합했을 때, 각각의 모odalities보다 더 높은 진단 해석 가능성 향상이 이루어지는지 평가한다.

제안 방법

• 사전에 훈련된 딥 러닝 분류기의 결정을 설명하는 기술적 문장을 생성하기 위해 시각적 주의 기반의 순환 신경망을 훈련한다.
• 원래 방사선 보고서에서 유도된 간소화된, 방사선의가 주석을付け한 설명어어의 집합을 사용하여 훈련 데이터를 구성한다.
• 일致성과 임상적 관련성을 확보하기 위해 핵심解剖학적 및 기술적 용어로 구성된 제약된 어휘를 사용한다.
• 기본 모델로 DenseNet 분류기를 사용하여 50,363건의 전면 골반 X-레이 영상 데이터셋(골절 환자 4,010명 포함)에 적용한다.
• 비교를 위해 색소 맵은 SmoothGrad 방법을 사용하여 생성한다.
• 텍스트 품질과 임상적 선호도 평가를 위해 방사선의가 수행한 비교 연구를 통해 설명을 평가한다.

실험 결과

연구 질문

• RQ1 간단한 순환 신경망이 임상적으로 의미 있고 방사선의가 선호하는 자연어 설명을 생성할 수 있는가?
• RQ2 생성된 텍스트의 품질은 골절 위치와 특성을 기술하는 데 원본 방사선 보고서와 비교해 어떻게 되는가?
• RQ3 임상의들은 AI 결정에 대해 텍스트 기반 설명을 색소 맵보다 선호하는가?
• RQ4 텍스트와 시각적 설명의 조합은 각각의 모odalities보다 더 효과적인가?
• RQ5 이 방법은 재훈련 없이도 어떤 딥 러닝 분류기에도 적용 가능하여 모델에 종속되지 않는가?

주요 결과

• 생성된 문장은 골절의 정확한解부학적 위치를 90%의 정확도로 기술했으며, 원본 방사선 보고서의 99%에 비해 약간 낮은 성능을 보였다.
• 모델은 골절의 특성을 98%의 정확도로 기술했으며, 원본 보고서의 78%에 비해 유의미하게 높은 성능을 보였다.
• 방사선의들은 생성된 텍스트 설명에 평균 7.0점(10점 만점)을 부여했으며, 색소 맵만을 사용한 경우(4.4/10)보다 유의미하게 높은 평가를 받았다.
• 색소 맵과 생성된 텍스트의 조합은 평균 8.8점(10점 만점)을 기록하여 다중모odal 설명에 대한 강한 선호도를 보였다.
• 이 방법은 모델에 종속되지 않으며, 추가적인 레이블링이 최소한으로 필요하며, 기존의 진단 레이블을 분류 및 설명에 모두 활용한다.
• 이 방법은 복잡한 모델 결정을 간결하고 인간이 읽을 수 있는 설명으로 압축하여 임상적 추론과 일치시켰다.