[논문 리뷰] Improving the Factual Correctness of Radiology Report Generation with Semantic Rewards

Jean-Benoit Delbrouck, Pierre Chambon외 4명|arXiv (Cornell University)|2022. 10. 21.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 흉부 X선 영상 보고서에 대한 사실적 정확성을 향상시키기 위해 RadGraph 데이터셋에서 유도된 의미적 보상(semantic rewards)을 활용하는 강화학습 프레임워크를 제안한다. RadGraph는 흉부 X선 보고서의 실체와 관계를 주석 처리한다. 이러한 그래프 기반 보상 최적화를 통해 기존 방법 대비 사실적 정확성 지표에서 최대 25.3%의 상대적 향상을 달성한다.

ABSTRACT

Neural image-to-text radiology report generation systems offer the potential to improve radiology reporting by reducing the repetitive process of report drafting and identifying possible medical errors. These systems have achieved promising performance as measured by widely used NLG metrics such as BLEU and CIDEr. However, the current systems face important limitations. First, they present an increased complexity in architecture that offers only marginal improvements on NLG metrics. Secondly, these systems that achieve high performance on these metrics are not always factually complete or consistent due to both inadequate training and evaluation. Recent studies have shown the systems can be substantially improved by using new methods encouraging 1) the generation of domain entities consistent with the reference and 2) describing these entities in inferentially consistent ways. So far, these methods rely on weakly-supervised approaches (rule-based) and named entity recognition systems that are not specific to the chest X-ray domain. To overcome this limitation, we propose a new method, the RadGraph reward, to further improve the factual completeness and correctness of generated radiology reports. More precisely, we leverage the RadGraph dataset containing annotated chest X-ray reports with entities and relations between entities. On two open radiology report datasets, our system substantially improves the scores up to 14.2% and 25.3% on metrics evaluating the factual correctness and completeness of reports.

연구 동기 및 목표

• 신경망 기반 영상 진단 보고서 생성 시스템에서 지속적인 사실적 불완전성과 일관성 문제를 해결하기 위해.
• BLEU나 CIDEr와 같은 기존 자연어 생성(NLG) 지표가 사실 정확성을 포괄하지 못하는 문제를 해결하기 위해.
• 영상의학 전문의가 주석 처리한 의미적 그래프를 기반으로 흉부 X선 보고서에 특화된 사실 기반 보상 메커니즘을 개발하기 위해.
• 강화학습을 통해 사실 정확성과 완전성을 직접 최적화하여 모델 성능을 향상시키기 위해.
• RadGraph에서 유도된 의미적 보상이 약한 지도 학습 또는 일반적인 생물의학 NER 기반 방법보다 사실 평가에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 저자들은 RadGraph 데이터셋에서 추출한 실체와 관계의 의미적 그래프를 기반으로 새로운 보상 함수인 RadGraph 보상(RadGraph reward)을 설계한다.
• RadGraph 모델을 영상 진단 보고서에 대해 미세조정하여 기준 보고서와 생성된 보고서의 실체 및 관계 주석을 생성한다.
• RadGraph 보상의 세 가지 변형을 정의한다: 실체 겹침을 위한 것, 관계 겹침을 위한 것, 그리고 둘을 조합한 것으로, 기준 보고서 그래프와 생성된 보고서 그래프 간의 구조적 유사도를 측정한다.
• 모델은 하이브리드 목적함수로 훈련된다: 유창성에 대한 음의 로그우도(NLL) 손실, 표면 수준 유사도에 대한 BERTScore, 사실 정확성에 대한 RadGraph 보상.
• 강화학습을 통해 RadGraph 보상을 최적화하여, 모델이 유창함과 동시에 사실 정확성을 갖춘 보고서를 생성하도록 학습한다.
• 이 방법은 표준 NLG 지표와 사실 중심 지표를 모두 사용하여 MIMIC-CXR와 Open-i 두 개의 개방형 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 영상의학 전문의가 주석 처리한 실체 및 관계 그래프에서 도출된 의미적 보상은 영상 진단 보고서 생성의 사실 정확성을 향상시킬 수 있는가?
• RQ2 BLEU나 CIDEr와 같은 전통적 NLG 지표를 최적화하는 것과 비교해 RadGraph 기반 보상을 최적화하는 것은 어떤가?
• RQ3 가벼운, 빠르게 훈련 가능한 모델 아키텍처가 사실 기반 의미적 보상으로 훈련되었을 때, 더 복잡한 아키텍처를 능가할 수 있는가?
• RQ4 일반적인 생물의학 NER 시스템에 비해 도메인 특화 의미 주석이 사실 일관성과 완전성에 어떤 영향을 미치는가?
• RQ5 RadGraph 보상은 모델이 높은 정밀도이지만 문법적으로 타당하지 않은 보고서를 생성하는 경향을 완화시킬 수 있는가?

주요 결과

• 제안된 RadGraph 보상 방법은 이전 방법 대비 MIMIC-CXR 데이터셋에서 사실 정확성 지표에서 14.2%의 상대적 향상을 달성했다.
• Open-i 데이터셋에서는 사실 정확성 지표에서 최대 25.3%의 상대적 향상을 기록하여, 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 입증했다.
• 약한 지도 학습 기반 NLI 모델이나 일반적인 생물의학 NER 시스템에 의존한 이전 접근법들조차도 RadGraph 기반 보상으로 훈련된 모델에 비해 열등한 성능을 보였다.
• RadGraph 기반 보상은 실체 재현율(40.9% 마크로 평균)과 관계 재현율(18.7% 마크로 평균)을 크게 향상시켰지만, 레이블 유형에 따라 성능이 다소 달라졌다.
• OBS-U 실체 레이블에 대해 0%의 재현율을 보이며 특정 임상 관찰을 학습하는 데 심각한 격차가 있음을 시사했고, 관계의 15%는 잘못 레이블링되었다.
• NLL 훈련 대비 강화학습 훈련의 계산 비용이 높았음(에포크당 7–10시간 대비 50분)에도 불구하고, 모델은 빠르고 가벼운 아키텍처를 유지하면서도 최신 기술 수준의 사실 정확성을 달성했다.