[논문 리뷰] Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation

Mingjie Li, Bingqian Lin외 4명|arXiv (Cornell University)|2023. 03. 18.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 흉부 X-ray 보고서 생성을 위한 새로운 프레임워크인 동적 지식 그래프 강화 대비 학습(DCL)을 제안한다. 이 프레임워크는 사전에 존재하는 일반 지식 그래프에 검색된 보고서에서 특정 지식을 통합하여 동적 지식 그래프를 구축한다. 대비 학습과 그래프 어텐션을 통해 시각적 및 텍스트 표현을 개선함으로써 보고서 품질을 향상시키며, IU-Xray 및 MIMIC-CXR에서 최신 기술 수준의 성능을 달성하여 CIDEr 점수 최대 0.557 향상.

ABSTRACT

Automatic radiology reporting has great clinical potential to relieve radiologists from heavy workloads and improve diagnosis interpretation. Recently, researchers have enhanced data-driven neural networks with medical knowledge graphs to eliminate the severe visual and textual bias in this task. The structures of such graphs are exploited by using the clinical dependencies formed by the disease topic tags via general knowledge and usually do not update during the training process. Consequently, the fixed graphs can not guarantee the most appropriate scope of knowledge and limit the effectiveness. To address the limitation, we propose a knowledge graph with Dynamic structure and nodes to facilitate medical report generation with Contrastive Learning, named DCL. In detail, the fundamental structure of our graph is pre-constructed from general knowledge. Then we explore specific knowledge extracted from the retrieved reports to add additional nodes or redefine their relations in a bottom-up manner. Each image feature is integrated with its very own updated graph before being fed into the decoder module for report generation. Finally, this paper introduces Image-Report Contrastive and Image-Report Matching losses to better represent visual features and textual information. Evaluated on IU-Xray and MIMIC-CXR datasets, our DCL outperforms previous state-of-the-art models on these two benchmarks.

연구 동기 및 목표

• 이미지 및 텍스트 데이터의 심각한 편향 문제를 해결하기 위해, 정상/비정상 케이스가 균형 잡히지 않은 데이터셋과 반복적인 정상 기술이 포함된 데이터셋에서의 의료 보고서 생성 문제를 다루기 위해.
• 고정된 의료 지식 그래프의 한계를 해결하기 위해, '부종'을 암시하는 '출혈'과 같은 사례별 임상적 관계를 포착하지 못하는 문제를 해결하기 위해.
• 대비 학습을 통해 시각적 및 텍스트 표현 학습을 향상시켜, 동적 그래프 구축을 위한 보고서 생성 품질과 검색 정확도를 향상시키기 위해.
• 검색된 보고서에서 도메인 특화 지식을 동적 그래프 구조에 통합하여 이미지별로 진화하는 그래프를 만들고, 의미적 정확도와 임상 용어 사용을 향상시키기 위해.

제안 방법

• 일반 의료 지식에서 기초 지식 그래프를 구축하며, 28개 엔티티(전역 노드, 7개 기관, 20개 이상의 이상소견)와 사전 정의된 관계를 포함한다.
• 밀도적 검색 방법을 사용해 각 입력 이미지에 대해 의미적으로 유사한 보고서를 검색한다.
• RadGraph를 사용해 검색된 보고서에서 임상 삼중항(주어, 관계, 목적어)을 추출하여 사례별 지식을 식별한다.
• 추출된 삼중항을 바탕으로 새로운 노드를 추가하고 관계를 재정의하여 이미지별로 동적 그래프를 동적으로 확장한다.
• 그래프 신경망(GNN)을 사용해 노드 특징을 전파하고 개선하며, SciBert 임bedding으로 초기화된 노드 표현을 생성한다.
• 이미지 특징과 동적 그래프 표현을 그래프 어텐션 기반 트랜스포머 디코더를 통해 통합하여 보고서를 생성하고, 이미지-보고서 대비 손실 및 매칭 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 검색된 보고서에서 사례별 지식을 동적으로 통합하면 생성된 방사선 보고서의 정확도와 임상적 관련성 향상에 기여하는가?
• RQ2 데이터 편향이 존재하는 상황에서 이미지 및 보고서 특징 간 대비 학습이 시각적 및 텍스트 표현 품질 향상에 기여하는가?
• RQ3 이미지별로 진화하는 동적 그래프 구조가 고정된 지식 그래프보다 임상적으로 관련된 관계를 더 잘 포착할 수 있는가?
• RQ4 이미지-보고서 대비 손실과 매칭 손실이 동적 그래프 프레임워크 내에서 보고서 생성 성능과 검색 정확도 향상에 얼마나 기여하는가?

주요 결과

• DCL은 MIMIC-CXR 데이터셋에서 CIDEr 점수 0.557을 기록하여 기반 모델 대비 0.022 향상되었으며, 이는 이전 최신 기술 수준의 방법들을 초월한다.
• 검색된 보고서를 통한 동적 지식 통합이 CIDEr, BLEU, ROUGE, METEOR 모든 지표에서 성능 향상에 기여하여 임상 용어 사용 향상이 뚜렷하게 확인된다.
• 이미지-보고서 대비 손실(IRC)이 이미지-보고서 매칭 손실(IRM)보다 더 큰 성능 향상을 이끌어내어, 시각적 및 텍스트 표현 개선에 더 강력한 영향을 미친다.
• 사전 학습된 ViT와 SciBert는 모델 성능 향상에 크게 기여하며, 추론 실험 결과에서 이러한 초기화를 제거할 경우 성능 급격히 감소함을 확인하여 표현 학습에서의 중요성을 입증한다.
• 정성적 분석 결과 DCL은 R2Gen이 생성하지 못하는 임상적으로 정확한 문장—예를 들어 '좌측 상부 림프절에서 기공성 병변이 관찰되어 폐렴과 호환됨'—을 생성함을 확인하였으며, 이는 동적 노드를 통한 질병 키워드 강조 덕분이다.
• 대비 학습을 통한 동적 그래프 구축 과정은 '병변'이 '출혈'을 암시하는 등 임상적으로 관련된 관계—예를 들어 '기공성 병변'이 '출혈'을 암시하는 관계—를 성공적으로 포착하였으며, 이는 정적 그래프에서는 존재하지 않는다.