[논문 리뷰] A Survey on Deep Learning and Explainability for Automatic Image-based Medical Report Generation

Pablo Messina, Pablo Pino외 8명|arXiv (Cornell University)|2020. 10. 20.

Multimodal Machine Learning Applications참고 문헌 151인용 수 7

한 줄 요약

이 종합 검토는 딥 러닝 기법을 활용한 자동 의료 영상 보고서 생성에 대해 데이터셋, 아키텍처 설계, 해석 가능성, 평가 지표를 중심으로 분석한다. 현재 평가 방식이 의료 정확성을 평가하지 못하는 자연어 처리(NLP) 지표에 크게 의존하고 있음을 밝혀내며, 이는 분야의 검증 방식에서 심각한 격차를 드러낸다.

ABSTRACT

Every year physicians face an increasing demand of image-based diagnosis from patients, a problem that can be addressed with recent artificial intelligence methods. In this context, we survey works in the area of automatic report generation from medical images, with emphasis on methods using deep neural networks, with respect to: (1) Datasets, (2) Architecture Design, (3) Explainability and (4) Evaluation Metrics. Our survey identifies interesting developments, but also remaining challenges. Among them, the current evaluation of generated reports is especially weak, since it mostly relies on traditional Natural Language Processing (NLP) metrics, which do not accurately capture medical correctness.

연구 동기 및 목표

• 의료 영상에서 자동으로 방사선 보고서를 생성하기 위한 딥 러닝 접근법을 체계적으로 검토하기.
• 의료 보고서 생성 연구에서 사용되는 현재 데이터셋의 상태를 분석하기.
• 다중모odal 영상-텍스트 학습을 위한 딥 네트워크 아키텍처 설계를 검토하기.
• 의료 보고서 생성 모델에 해석 가능성 기법이 어떻게 통합되어 있는지 평가하기.
• 기존 평가 지표의 한계, 특히 의료 정확성을 보장하지 못하는 점을 특정하기.

제안 방법

• 딥 뉴럴 네트워크를 활용한 자동 의료 보고서 생성 분야의 최근 연구를 종합적으로 분석한다.
• 분야에서 사용되는 데이터셋을 분류하고 평가하여 크기, 모odal성, 임상적 관련성을 분석한다.
• 엔코더-디코더 아키텍처, 어텐션 메커니즘, 비전-언어 트랜스포머를 보고서 생성 모델의 핵심 구성요소로 분석한다.
• 예측을 설명하기 위해 어텐션 시각화 및 샐리언시 맵을 포함한 모델 해석 방법을 검토한다.
• BLEU, ROUGE, CIDEr와 같은 표준 NLP 지표를 비판적으로 평가하며, 임상 정확성을 측정하는 데서의 한계를 지적한다.
• 다양한 연구의 결과를 통합하여 분야 내 추세, 과제 및 열린 문제를 도출한다.

실험 결과

연구 질문

• RQ1 자동 의료 보고서 생성에서 주로 사용되는 핵심 데이터셋은 무엇이며, 모델 훈련과 평가에 어떻게 기여하는가?
• RQ2 딥 네트워크 아키텍처는 시각적 및 텍스처 모odal을 어떻게 통합하여 정확한 보고서를 생성하는가?
• RQ3 현재 모델은 얼마나 해석 가능한 출력을 제공하며, 해석 가능성 향상을 위해 어떤 기법을 사용하는가?
• RQ4 기존의 NLP 지표가 왜 의료 보고서 품질 평가에 부적합한가?
• RQ5 이러한 모델의 평가 및 임상 현장 적용에서 가장 시급한 과제는 무엇인가?

주요 결과

• 현재 생성된 의료 보고서의 평가는 BLEU, ROUGE, CIDEr와 같은 주로 NLP 지표에 의존하고 있으며, 이는 의료 정확성을 반영하지 못한다.
• 의료 용어의 정확성과 임상적 추론을 평가할 수 있는 표준화되고 임상 기반의 평가 프로토콜이 부족하다.
• 딥 러닝 모델은 보고서 생성 품질을 향상시켰지만, 여전히 의료적으로 잘못되거나 환영된 문장이 포함된 경우가 많다.
• 어텐션 맵과 같은 해석 가능성 기법은 사용되고 있지만, 임상적 신뢰성 확보에는 아직 부족하다.
• 모델의 일반화 능력을 뒷받침할 수 있는 대규모, 다양한 종류의 임상 검증 데이터셋이 부족하다.
• 모델 아키텍처에 임상 지식을 통합하는 것은 아직 탐색되지 않은 분야이며, 이로 인해 실생활 적용 가능성에 한계가 있다.