[논문 리뷰] Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation

Yasuhide Miura, Yuhao Zhang외 3명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling참고 문헌 52인용 수 15

한 줄 요약

이 논문은 BERTScore와 결합된 두 가지 새로운 보상 함수인 정확한 엔티티 매칭 및 함의 엔티티 매칭을 제안하여 영상의학 보고서 생성에서 사실적 완전성과 일관성을 향상시킨다. Transformer 기반 모델을 기반으로 한 강화학습을 통해, 임상 정보 추출에서 절대 F1 점수 22.1점 향상(+63.9%)을 달성하여 기준 모델 대비 뛰어난 사실적 정확성을 입증한다.

ABSTRACT

Neural image-to-text radiology report generation systems offer the potential to improve radiology reporting by reducing the repetitive process of report drafting and identifying possible medical errors. However, existing report generation systems, despite achieving high performances on natural language generation metrics such as CIDEr or BLEU, still suffer from incomplete and inconsistent generations. Here we introduce two new simple rewards to encourage the generation of factually complete and consistent radiology reports: one that encourages the system to generate radiology domain entities consistent with the reference, and one that uses natural language inference to encourage these entities to be described in inferentially consistent ways. We combine these with the novel use of an existing semantic equivalence metric (BERTScore). We further propose a report generation system that optimizes these rewards via reinforcement learning. On two open radiology report datasets, our system substantially improved the F1 score of a clinical information extraction performance by +22.1 (Delta +63.9%). We further show via a human evaluation and a qualitative analysis that our system leads to generations that are more factually complete and consistent compared to the baselines.

연구 동기 및 목표

• 높은 BLEU 및 CIDEr 점수에도 불구하고 여전히 문제로 남아 있는 신경망 기반 영상에서 텍스트로의 영상의학 보고서 생성에서의 사실적 불완전성과 불일관성을 해결하기 위해.
• 질병 및 해부학적 엔티티 커버리지와 추론 일관성 측면에서 참조 보고서와 더 가까이 맞추어져 임상적 유용성을 향상시키기 위해.
• 도메인 특화의 해석 가능한 보상 함수를 사용해 사실적 정확성에 최적화된 강화학습 프레임워크를 개발하기 위해.
• 임상 정보 추출 시스템을 이용할 수 없을 경우, 사실적 정확성과 강한 상관관계를 가지는 지표를 식별하여 보고서 품질 평가를 향상시키기 위해.

제안 방법

• 생성된 보고서에서 영상의학 전용 엔티티(예: 질병, 해부학적 구조)의 커버리지를 参고 보고서 대비 측정하기 위해 정확한 엔티티 매칭 보상(fact_ENT)을 제안한다.
• 엔티티 기반 서술의 추론 일관성을 보장하기 위해 fact_ENT와 약한 지도 학습 기반 자연어 추론(NLI) 모델을 조합한 함의 엔티티 매칭 보상(fact_ENTNLI)을 도입한다.
• 특수어 및 부정 표현과 같은 복잡한 의존 관계를 포함한 의미적 동치성을 포착하기 위해 BERTScore를 통합한다.
• 일般적 NLI 모델을 영상의학 용어와 임상 추론 패턴에 맞게 적응시키기 위해, 약한 지도 학습 기반의 영상의학 도메인 NLI 모델을 훈련시킨다.
• 복합 보상(NLL + BERTScore + fact_ENT + fact_ENTNLI)을 사용해 자기 비판 강화학습으로 최적화된 Transformer 기반 영상에서 텍스트로의 생성기 모델을 구현한다.
• 임상 정보 추출(예: CheXbert)과 인간 평가를 통해 사실적 완전성과 일관성을 측정하기 위해, 두 개의 개방형 영상의학 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 표준 자연어 생성(NLG) 지표를 도메인 특화 사실 보상 함수로 대체함으로써 사실적으로 불완전하고 불일관한 보고서를 향상시킬 수 있는가?
• RQ2 영상의학 보고서 생성에서 NLI 기반 보상 함수를 사용해 엔티티 수준의 커버리지와 추론 일관성을 얼마나 향상시킬 수 있는가?
• RQ3 골드 스탠다드 정보 추출 시스템을 이용할 수 없을 경우, 제안된 보상 함수가 임상 정확성의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ4 BERTScore와 사실 보상 함수의 통합이 생성된 보고서의 사실적 완전성과 일관성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 기준 모델 대비 MIMIC-CXR 데이터셋에서 임상 정보 추출 성능에서 절대 F1 점수 22.1점 향상(+63.9% 상대적 향상)을 달성했다.
• 보건의료 전문의 자격을 가진 영상의학 전문의가 수행한 인간 평가 결과, 제안된 보상 함수를 사용해 생성된 보고서가 기준 모델 대비 더 사실적으로 완전하고 일관성 있는 것으로 확인되었다.
• fact_ENTNLI 보상 함수는 임상 정확성과 가장 높은 슼머의 상관관계(ρ = 0.255)를 보였으며, BLEU4(ρ = 0.092) 및 CIDEr-D(ρ = 0.034)와 같은 표준 지표를 능가했다.
• 정성적 분석 결과, 모델은 기저성 폐기종과 같은 핵심 발견을 정확히 생성했고, 잘못된 발견인 좌측 흉막 출혈과 같은 잘못된 발견은 억제하는 등 사실적 일관성이 향상된 것으로 나타났다.
• 다만, 개선에도 불구하고 모델은 '이전 검사에 비해 더 두드러짐'과 같은 시간적 비교나 '배제할 수 없다'와 같은 불확실성 표현을 다루는 데 여전히 어려움을 겪어, 종합적 또는 확률적 보고 특성 모델링에 한계를 보였다.