[논문 리뷰] Interactive and Explainable Region-guided Radiology Report Generation

Tim Tanida, Philip C. Müller외 2명|arXiv (Cornell University)|2023. 04. 17.

Multimodal Machine Learning Applications참고 문헌 57인용 수 10

한 줄 요약

RGRG는 객체 탐지를 통해 해부학적 영역을 감지한 다음, 영역별 문장을 생성하여 완전하고 상호작용이 가능하며 설명력이 강화된 방사선 영상 보고서를 구성합니다.

ABSTRACT

The automatic generation of radiology reports has the potential to assist radiologists in the time-consuming task of report writing. Existing methods generate the full report from image-level features, failing to explicitly focus on anatomical regions in the image. We propose a simple yet effective region-guided report generation model that detects anatomical regions and then describes individual, salient regions to form the final report. While previous methods generate reports without the possibility of human intervention and with limited explainability, our method opens up novel clinical use cases through additional interactive capabilities and introduces a high degree of transparency and explainability. Comprehensive experiments demonstrate our method's effectiveness in report generation, outperforming previous state-of-the-art models, and highlight its interactive capabilities. The code and checkpoints are available at https://github.com/ttanida/rgrg .

연구 동기 및 목표

• 방사선과의 업무 부담을 줄이기 위해 자동 방사선 보고서 생성을 촉진합니다.
• 주요 해부학적 영역을 탐지하고 설명함으로써 영역 가이드를 통한 추론을 도입합니다.
• 대상 설명을 위한 영역 선택 또는 경계 상자를 그리기 위한 상호작용 가능하고 설명 가능한 메커니즘을 제공합니다.
• MIMIC-CXR 유래 Chest ImaGenome 데이터에서 보고서 품질 및 임상적 타당성의 개선을 입증합니다.

제안 방법

• ResNet-50을 사용한 Faster R-CNN으로 29개의 흉부 해부 영역을 탐지하고 영역 특징을 추출합니다.
• 어떤 영역을 설명할지와 이상 여부를 결정하기 위해 이진 영역 선택 및 이상 징후 분류기를 훈련합니다.
• 영역 특징에 조건화된 사전 학습된 의학 GPT-2 모델을 사용하여 가상 self-attention 주입을 통해 영역별 문장을 생성합니다.
• 영역 문장을 연결하고 중복 제거를 적용하여 최종 보고서를 형성합니다.
• 상호작용성과 설명가능성을 위해 해부학 기반 및 선택 기반 문장 생성을 활성화합니다.
• 세 단계로 학습합니다: 탐지기만, 탐지기와 분류기 결합, 그다음 부분 언어모델 미세조정을 포함한 엔드투엔드 학습.

실험 결과

연구 질문

• RQ1 해부학적 영역에 근거한 영역 수준 설명이 방사선 보고서의 사실적 완전성 및 일관성을 향상시킬 수 있는가?
• RQ2 이미지 수준 방법과 비교하여 영역 기반의 상호작용적 생성이 더 나은 설명 가능성과 방사선 전문의 제어를 제공하는가?
• RQ3 MIMIC-CXR 유래 데이터에서 표준 NLG 지표와 임상 관련 효능 지표에서 모델의 성능은 어떠한가?
• RQ4 해부학 기반 및 선택 기반 상호작용이 경계 상자의 편차에 대해 견고한가?

주요 결과

데이터셋	방법	연도	BLEU-1	BLEU-2	BLEU-3	BLEU-4	METEOR	ROUGE-L	CIDEr
MIMIC-CXR	RGRG	Ours	0.373	0.249	0.175	0.126	0.168	0.264	0.495

• 모델은 표준 NLG 지표에서 최첨단 성능에 근접하며 전체 보고서 생성을 위한 METEOR 점수에서도 최첨단 수준이다.
• 임상 효능(CE) 지표에서 본 접근법은 비-RL 기준선에 비해 큰 개선을 보였고, RL 최적화 모델과도 경쟁력이 있다.
• 각 문장을 경계 상자에 명시적으로 시각적 근거와 함께 해부학 기반 영역별 문장 생성을 보고한 최초의 연구이다.
• 해부학 기반 문장 생성은 해부학 특이성을 높여 METEOR 이득을 보이며(Anatomy-Sensitivity-Ratio ≈ 1.94 for 6 regions).
• 선택 기반 생성을 통해 종횡비 및 크기의 경계 상자 편차에 대한 견고성을 보이면서도 위치에는 민감하게 반응하여 임상 워크플로우에서의 상호작용성을 지원합니다.