[논문 리뷰] Clinically Accurate Chest X-Ray Report Generation

Guanxiong Liu, Tzu-Ming Harry Hsu외 5명|arXiv (Cornell University)|2019. 04. 04.

Radiomics and Machine Learning in Medical Imaging참고 문헌 56인용 수 111

한 줄 요약

논문은 도메인 인식의 계층적 흉부 X-레이 보고서 생성기를 Clinically Coherent Reward로 최적화하여 Open-I 및 MIMIC-CXR에서 언어 품질과 임상 정확성을 모두 향상시킨다.

ABSTRACT

The automatic generation of radiology reports given medical radiographs has significant potential to operationally and improve clinical patient care. A number of prior works have focused on this problem, employing advanced methods from computer vision and natural language generation to produce readable reports. However, these works often fail to account for the particular nuances of the radiology domain, and, in particular, the critical importance of clinical accuracy in the resulting generated reports. In this work, we present a domain-aware automatic chest X-ray radiology report generation system which first predicts what topics will be discussed in the report, then conditionally generates sentences corresponding to these topics. The resulting system is fine-tuned using reinforcement learning, considering both readability and clinical accuracy, as assessed by the proposed Clinically Coherent Reward. We verify this system on two datasets, Open-I and MIMIC-CXR, and demonstrate that our model offers marked improvements on both language generation metrics and CheXpert assessed accuracy over a variety of competitive baselines.

연구 동기 및 목표

• 생성된 흉부 X-레이 보고서에서 유창한 방사선 보고서와 임상 정확도 사이의 격차를 해소한다.
• 주제 기반 문장 디코더에서 문장을 생성하는 계층적 CNN-RNN-RNN 생성기를 제안한다.
• CheXpert를 기반으로 한 Clinically Coherent Reward를 도입하여 질병 상태 언급을 실제 정답과 일치시킨다.
• 읽기 용이성과 임상 충실도 사이의 균형을 맞추기 위해 강화학습으로 모델을 미세조정한다.
• 강력한 베이스라인과 비교하여 두 공개 데이터세트(Open-I 및 MIMIC-CXR)에서 평가한다.

제안 방법

• 계층적 생성: CNN을 통한 이미지 인코딩, LSTM으로 문장 수준의 토픽 생성, 주의(attention)와 함께 단어 수준 디코딩.
• 주제 가이드 문장 생성을 통해 각 문장이 문장 수준 LSTM에서 도출된 토픽 벡터에 조건화된다.
• 각 문장을 생성하기 위해 시각적 센티널 및 이미지 특징에 대한 어텐션을 갖춘 단어 디코더.
• CIDEr 기반 NLG 보상과 CheXpert 라벨에서 도출된 Clinically Coherent Reward(CCR)를 결합한 목적 함수로 강화학습.
• Clinically Coherent Reward는 드문 질환에 적합한 가정 하에서 확률적 매핑 p(+|l) 및 p(-|l)을 통해 실제 진단과 생성된 보고서 간의 질환 상태 일관성을 모델링한다.
• 평가는 SCST 스타일 정책 그래디언트를 사용하여 기대 보상을 최적화한다; 실제 진단 정렬이 유창성과 임상 정확성을 모두 좌우한다.

실험 결과

연구 질문

• RQ1 계층적 이미지-텍스트 모델이 유창하면서도 임상적으로 정확한 방사선 보고서를 생성할 수 있는가?
• RQ2 CheXpert 기반 질환 상태 정렬을 읽기 용이성을 해치지 않으면서 개선하는가?
• RQ3 제안된 방법이 대규모 흉부 X-레이 데이터셋에서 최신 방사선 보고서 생성 베이스라인과 어떻게 비교되는가?
• RQ4 NLG 보상과 CCR 보상을 결합하는 것이 단일 보상 최적화에 비해 어떤 영향을 미치는가?

주요 결과

• 전체 모델은 가장 높은 임상 질환 주석 정확도(CheXpert 일치도)를 달성하면서도 견고한 NLG 지표를 유지한다.
• NLG 중심 변형은 CIDEr 및 관련 언어 지표를 개선하지만 단독으로 사용할 때 임상 정확도 이득은 제한적이다.
• CCR만 사용하는 변형은 임상 정밀도/PPV를 향상시키나 재현율(recall)이 감소할 수 있어 공동 최적화의 필요성을 시사한다.
• MIMIC-CXR 및 Open-I 전반에 걸쳐 제안된 방법은 1-NN, Show & Tell, ShowAtten,& Tell, TieNet 등과 비교하여 언어 및 임상 지표에서 우수한 성능을 보인다.
• 정확히 중복된 문장을 포스트-하에 제거하면 읽기 쉬움이 향상되며 NLG 지표에 미미한 영향만 준다.
• 변형들 중 NLG와 CCR 보상을 결합한 것이 언어 품질과 임상 정렬 모두에서 최상의 전체 성능을 보인다.
• Open-I는 데이터 코어가 작고 질환 발생률이 낮아 MIMIC-CXR에 비해 모델 성능과 평가 역학에 차이를 만든다.