[논문 리뷰] Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment

Shuxin Yang, Xian Wu외 3명|arXiv (Cornell University)|2021. 12. 30.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 훈련 가능한 지식 기반과 다중 모odal 정렬을 통해 의료 지식을 자동으로 학습하고 영상, 보고서, 질병 레이블 간의 정합성을 강화하는 방사선 검사 보고서 생성 모델을 제안한다. 수동 지식 정제를 제거함으로써, IU-Xray 및 MIMIC-CXR 데이터셋에서 최신 기술 수준의 성능을 달성하여 자연어 생성 및 임상 유효성 지표 모두에서 향상된다.

ABSTRACT

In clinics, a radiology report is crucial for guiding a patient's treatment. However, writing radiology reports is a heavy burden for radiologists. To this end, we present an automatic, multi-modal approach for report generation from a chest x-ray. Our approach, motivated by the observation that the descriptions in radiology reports are highly correlated with specific information of the x-ray images, features two distinct modules: (i) Learned knowledge base: To absorb the knowledge embedded in the radiology reports, we build a knowledge base that can automatically distil and restore medical knowledge from textual embedding without manual labour; (ii) Multi-modal alignment: to promote the semantic alignment among reports, disease labels, and images, we explicitly utilize textual embedding to guide the learning of the visual feature space. We evaluate the performance of the proposed model using metrics from both natural language generation and clinic efficacy on the public IU-Xray and MIMIC-CXR datasets. Our ablation study shows that each module contributes to improving the quality of generated reports. Furthermore, with the assistance of both modules, our approach outperforms state-of-the-art methods over almost all the metrics.

연구 동기 및 목표

• 의사가 보고서를 작성하는 데 소요되는 높은 업무 부담을 줄이기 위해 방사선 검사 보고서 생성을 자동화하는 것.
• 기존 방법들이 지식 그래프나 템플릿을 수동으로 구축해야 하는 데 기인한 한계를 극복하는 것.
• 인간의 주석 없이 보고서에서 질병 관련 지식을 학습하여 보고서 품질을 향상시키는 것.
• 다중 모달 정렬 기반 메커니즘을 통해 영상, 보고서, 질병 레이블 간의 의미적 정합성을 향상시키는 것.
• 자연어 생성 및 임상 정확성 지표 모두에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 학습된 지식 기반은 메모리 모듈로 초기화되며, 다중 헤드 어텐션 기반 메커니즘을 통해 보고서 임베딩을 사용해 훈련 중에 업데이트된다.
• 지식 기반은 입력 영상의 시각적 특징과 기준 보고서의 텍스트 임베딩을 쿼리하여 업데이트되며, 이로 인해 의료 지식의 자동 추출이 가능해진다.
• 추론 중에 시각적 특징을 사용하여 시각-지식 어텐션 모듈이 지식 기반에서 관련 지식을 검색한다.
• 시각적 특징과 텍스트 임베딩 간의 정합성을 확보하기 위해 트리플릿 마진 손실을, 시각적 특징과 질병 레이블 간의 정합성을 확보하기 위해 이진 교차 엔트로피 손실을 사용한다.
• 시각적, 텍스트적, 레이블 표현을 동시에 최적화하여 다양한 모odal 간의 의미적 일致성을 보장한다.
• 프레임워크는 엔드 투 엔드로 훈련되며, 사전에 구성된 지식 그래프나 템플릿이 필요하지 않다.

실험 결과

연구 질문

• RQ1 수동 정제 없이 방사선 검사 보고서에서 지식 기반을 자동으로 학습할 수 있는가?
• RQ2 영상, 보고서, 질병 레이블 간의 다중 모달 정합성이 보고서 생성 품질을 향상시키는가?
• RQ3 지식 기반의 크기와 아키텍처가 보고서 생성 작업 성능에 미치는 영향은 어떠한가?
• RQ4 지식 기반 재학습 없이도 제안된 방법이 다양한 데이터셋에 일반화 가능한가?
• RQ5 학습된 지식과 정합성 메커니즘의 통합이 자연어 생성 및 임상 정확성 지표를 모두 향상시키는가?

주요 결과

• 모델은 모든 NLG 및 임상 유효성 지표에서 IU-Xray 및 MIMIC-CXR 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.
• IU-Xray 데이터셋에서, 지식 기반 크기가 60인 모델은 CIDEr 점수 0.416과 ROUGE-L 0.395를 기록하며 베이스라인을 초월한다.
• MIMIC-CXR 데이터셋에서, 지식 기반 크기가 60인 모델은 BLEU-4 점수 0.111과 CIDEr 0.111을 기록하여 일관된 향상을 보였다.
• 지식 기반 업데이트 메커니즘에서 어텐션 헤드 수가 증가할수록 성능이 향상되며, 8개 헤드에서 최고 성능을 기록한다.
• IU-Xray에서는 지식 기반 크기가 30일 때 최고의 성능를 기록했으며, 더 큰 MIMIC-CXR 데이터셋에서는 크기가 커질수록 성능이 계속 향상되었다.
• 정성적 결과 분석에서 모델은 흉부 축적과 기도 폐쇄와 같은 이상 소견에 대해 더 정확한 기술을 제공하며, 보조 장치 언급도 정확히 반영하여 베이스라인을 능가했다.