[논문 리뷰] Toward expanding the scope of radiology report summarization to multiple anatomies and modalities

Zhihong Chen, Maya Varma외 3명|arXiv (Cornell University)|2022. 11. 15.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 X선, CT, MRI 등 여러 영상 모odalities와 흉부, 두부, 척추 등 다양한 해부학적 부위를 포함하는 12개의 모달리티-해부학적 부위 조합을 다루는 오픈소스 데이터셋인 MIMIC-RRS를 소개한다. 이는 다중 모달리티 및 다중 해부학적 부위의 영상 진단 보고서 요약 작업을 가능하게 한다. 또한 사전 훈련된 모델인 BART가 복잡한 아키텍처 없이도 뛰어난 성능을 내는 것으로 밝혀졌으며, 방사선의사가 검증한 사실성 평가 지표인 F1-RadGraph를 도입하여 다양한 해부학적 및 영상적 맥락에서 신뢰할 수 있는 평가가 가능해졌다.

ABSTRACT

Radiology report summarization (RRS) is a growing area of research. Given the Findings section of a radiology report, the goal is to generate a summary (called an Impression section) that highlights the key observations and conclusions of the radiology study. However, RRS currently faces essential limitations.First, many prior studies conduct experiments on private datasets, preventing reproduction of results and fair comparisons across different systems and solutions. Second, most prior approaches are evaluated solely on chest X-rays. To address these limitations, we propose a dataset (MIMIC-RRS) involving three new modalities and seven new anatomies based on the MIMIC-III and MIMIC-CXR datasets. We then conduct extensive experiments to evaluate the performance of models both within and across modality-anatomy pairs in MIMIC-RRS. In addition, we evaluate their clinical efficacy via RadGraph, a factual correctness metric.

연구 동기 및 목표

• 다양한 해부학적 부위와 모달리티를 아우르는 공개된, 재현 가능한 영상 진단 보고서 요약(RRS) 데이터셋이 부족한 문제를 해결하기 위해.
• 이전 연구들이 흉부 X선과 비공개 데이터셋에만 국한되어 있어 공정한 비교와 재현이 어려운 문제를 해결하기 위해.
• 다양한 해부학적 부위와 영상 맥락에서 생성된 요약의 사실성 정확도를 평가하기 위해 방사선의사가 검증한 사실성 평가 지표인 F1-RadGraph를 개발하고 검증하기 위해.
• 다양한 모달리티-해부학적 부위 조합에서 일반화 능력을 평가하기 위해 새로운 다각적 벤치마크를 구축하고 사전 훈련된 모델을 평가하기 위해.
• BART와 같은 단순한 백본 모델을 사용하여 강력하고 단순한 기준 성능을 확립함으로써 복잡한 아키텍처가 높은 성능을 내는 데 필수적이지 않음을 보여주기 위해.

제안 방법

• MIMIC-III(79,779건의 보고서)와 MIMIC-CXR(128,003건의 보고서)를 결합하여 11개의 모달리티-해부학적 부위 조합(흉부, 두부, 경부, 부비동, 척추, Abdomen, 골반 포함)을 포함하는 MIMIC-RRS를 구축하였다.
• 보드 자격을 취득한 방사선의사의 참여를 통해 다양한 모달리티-해부학적 부위 조합에서 'Findings'(소견) 섹션 헤더로 사용될 수 있는 537개의 대체 헤더를 식별하여 관련 보고서 섹션을 추출하였다.
• 기본 제공된 인식 및 생성된 인식 보고서에서 의료 실체와 관계를 추출하기 위해 사전 훈련된 방사선 전용 NLP 모델(RadGraph)을 사용하여 사실성 평가를 수행하였다.
• 예측된 명시적 실체 및 관계와 기준 실체 및 관계 간의 F1 점수를 계산하는 F1-RadGraph를 도입하였으며, 이는 방사선의사에 의해 사실성 검증을 거친 지표이다.
• 12개의 모달리티-해부학적 부위 조합에서 400회 이상의 교차 모달리티-해부학적 평가를 수행하여 BART, RoBERTa, BioBART 등 여러 사전 훈련된 모델을 벤치마크로 평가하였다.
• 표준 ROUGE 점수와 임상적 F1-RadGraph 점수를 모두 사용하여 어휘의 자연스러움과 사실성 정확도를 동시에 평가하였다.

실험 결과

연구 질문

• RQ1 공개된, 다중 모달리티 및 다중 해부학적 부위의 영상 진단 보고서 요약 데이터셋을 구축하여 재현 가능하고 비교 가능한 연구를 가능하게 할 수 있는가?
• RQ2 BART와 같은 사전 훈련된 모델은 RRS에서 다양한 모달리티-해부학적 부위 조합으로 일반화되는가? 아키텍처의 복잡성이 성능 향상에 기여하는가?
• RQ3 F1-RadGraph와 같은 사실성 정확도 지표가 다양한 해부학적 부위 및 영상 맥락에서 임상적 신뢰성 평가에 효과적으로 적용될 수 있는가?
• RQ4 사전 훈련된 모델에서 방사선의사가 검증한 실체 및 관계 레이블을 사용하면, 비지도 NLP 도구(예: Stanza)보다 사실성 일관성이 향상되는가?
• RQ5 최근의 복잡한 모델들에도 불구하고, BART와 같은 단순한 백본 아키텍처만으로도 높은 성능을 달성할 수 있는가? 고성능 요약을 위해 복잡한 모듈이 반드시 필요한가?

주요 결과

• MIMIC-RRS는 12개의 모달리티-해부학적 부위 조합(흉부, 두부, 경부, 부비동, 척추, 복부, 골반 포함)에서 CT, MRI, X선을 포함한 207,782건의 영상 진단 보고서를 포함하는 공개된 데이터셋으로, 이전 연구들보다 더 넓은 평가 범위를 가능하게 한다.
• BART 기반 모델이 가장 높은 F1-RadGraph 점수를 기록하여, 복잡한 아키텍처 수정 없이도 표준 사전 훈련된 모델만으로도 뛰어난 성능을 달성할 수 있음을 입증하였다.
• F1-RadGraph 점수는 ROUGE 점수와 강한 일치를 보이며, 다양한 해부학적 및 영상 맥락에서 사실성 정확도 평가 지표로서의 신뢰성을 입증하였다.
• 이 데이터셋은 11개의 인도메인(in-domain) 및 6개의 외부도메인(OOD) 모달리티-해부학적 부위 조합을 포함하여, 이전에 본 적 없는 조합에 대한 일반화 능력 평가가 가능하다.
• RadGraph에서 방사선의사가 검증한 실체 및 관계 레이블을 사용함으로써, 비지도 NLP 도구(예: Stanza)에 비해 사실성 일관성 평가가 향상됨을 확인하였다.
• 최근 모델들이 복잡한 아키텍처를 사용하고 있음에도 불구하고, 본 연구는 단순한 모델인 BART만으로도 경쟁 가능한 성능을 달성할 수 있음을 보여주며, 성능 향상의 주요 원동력이 아키텍처 혁신이 아닐 수 있음을 시사한다.