[논문 리뷰] Confidence-Guided Radiology Report Generation.

Yixin Wang, Zihao Lin외 5명|arXiv (Cornell University)|2021. 06. 21.

Multimodal Machine Learning Applications참고 문헌 36인용 수 6

한 줄 요약

이 논문은 모델 신뢰도를 향상시키기 위해 시각적 및 텍스처적 불확실성을 명시적으로 모델링하는 신뢰도 유도 영상 진단 보고서 생성 프레임워크를 제안한다. 불확실성 가중 손실을 활용하여, 더 포괄적인 최적화를 통해 공개 영상 진단 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Medical imaging plays a pivotal role in diagnosis and treatment in clinical practice. Inspired by the significant progress in automatic image captioning, various deep learning (DL)-based architectures have been proposed for generating radiology reports for medical images. However, model uncertainty (i.e., model reliability/confidence on report generation) is still an under-explored problem. In this paper, we propose a novel method to explicitly quantify both the visual uncertainty and the textual uncertainty for the task of radiology report generation. Such multi-modal uncertainties can sufficiently capture the model confidence scores at both the report-level and the sentence-level, and thus they are further leveraged to weight the losses for achieving more comprehensive model optimization. Our experimental results have demonstrated that our proposed method for model uncertainty characterization and estimation can provide more reliable confidence scores for radiology report generation, and our proposed uncertainty-weighted losses can achieve more comprehensive model optimization and result in state-of-the-art performance on a public radiology report dataset.

연구 동기 및 목표

• 영상 진단 보고서 생성에서 모델 불확실성 문제에 대한 탐색이 부족한 문제를 해결하기 위해.
• 딥 러닝 기반 보고서 생성에서 시각적 및 텍스트적 불확실성을 명시적으로 측정하기 위해.
• 추정된 불확실성에 따라 손실을 가중함으로써 모델 최적화를 향상시키기 위해.
• 신뢰도 기반 훈련을 통해 생성된 보고서의 신뢰도를 향상시키기 위해.
• 기준 영상 진단 보고서 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 이 방법은 영상 특징에서 유도된 시각적 불확실성과 생성된 보고서 토큰에서 유도된 텍스트적 불확실성을 측정하기 위한 이중 불확실성 추정 메커니즘을 도입한다.
• 시각적 불확실성은 영상 인코더 특징에 대해 몬테카를로 드롭아웃 또는 엔트로피 기반 측정 방법을 사용하여 추정한다.
• 텍스트적 불확실성은 생성 과정 중 순차적 생성 디코더의 예측 분포에서 계산된다.
• 추정된 불확실성은 문장 수준 및 보고서 수준에서 손실 함수를 동적으로 가중하는 데 사용된다.
• 불확실성 가중 손실 함수는 더 강력하고 포괄적인 모델 최적화를 가능하게 한다.
• 프레임워크는 표준 순서-순서 영상 진단 보고서 생성 파이프라인에 불확실성 추정을 통합한다.

실험 결과

연구 질문

• RQ1 영상 진단 보고서 생성에서 시각적 및 텍스트적 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 불확실성 추정은 생성된 영상 진단 보고서의 신뢰도를 향상시킬 수 있는가?
• RQ3 불확실성 가중 손실 훈련은 더 나은 모델 최적화와 성능을 이끌 수 있는가?
• RQ4 제안된 방법은 기준 영상 진단 보고서 데이터셋에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 제안된 방법은 영상 진단 보고서 생성에서 시각적 및 텍스트적 불확실성을 성공적으로 측정한다.
• 불확실성 추정은 문장 수준 및 보고서 수준에서 생성된 보고서에 대해 더 신뢰할 수 있는 신뢰도 점수를 제공한다.
• 불확실성 가중 손실 메커니즘은 더 포괄적인 모델 최적화를 이끈다.
• 이 방법은 공개 영상 진단 보고서 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 불확실성 모델링의 통합은 추가 애너테이션 없이도 모델의 신뢰도를 향상시킨다.