[논문 리뷰] Prior Knowledge Enhances Radiology Report Generation

Song Wang, Liyan Tang외 4명|PubMed|2022. 01. 11.

Radiology practices and education참고 문헌 6인용 수 16

한 줄 요약

이 논문은 방사선 검사 보고서 생성을 위한 지식 그래프 기반 딥러닝 프레임워크를 제안하며, 텍스트 마이닝을 통해 추출한 의료 개념 간 연관성을 그래프 컬러이션 네트워크에 통합하여 보고서 품질을 햖저한다. RadLex 및 보조적으로 텍스트 마이닝된 결과에서 유래한 사전 지식을 통합함으로써, IU X-ray 데이터셋에서 ROUGE-L 0.384 ± 0.007 및 CIDEr 0.340 ± 0.011의 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 이전 방법 대비 주요 지표에서 1.5–2.0% 향상된 결과이다.

ABSTRACT

Radiology report generation aims to produce computer-aided diagnoses to alleviate the workload of radiologists and has drawn increasing attention recently. However, previous deep learning methods tend to neglect the mutual influences between medical findings, which can be the bottleneck that limits the quality of generated reports. In this work, we propose to mine and represent the associations among medical findings in an informative knowledge graph and incorporate this prior knowledge with radiology report generation to help improve the quality of generated reports. Experiment results demonstrate the superior performance of our proposed method on the IU X-ray dataset with a ROUGE-L of 0.384±0.007 and CIDEr of 0.340±0.011. Compared with previous works, our model achieves an average of 1.6% improvement (2.0% and 1.5% improvements in CIDEr and ROUGE-L, respectively). The experiments suggest that prior knowledge can bring performance gains to accurate radiology report generation. We will make the code publicly available at https://github.com/bionlplab/report_generation_amia2022.

연구 동기 및 목표

• 기존 딥러닝 모델이 의료 소견 간 상호 영향을 모델링하지 못하는 한계를 해결하기 위해.
• 방사선 소견 간 관계를 반영하는 사전 의료 지식을 통합하여 보고서 품질을 향상시키기 위해.
• 수동으로 정렬된 지식 그래프의 대체로 데이터 기반이며 확장 가능한 방법을 개발하기 위해.
• 사전 지식의 영향을 질병 분류 및 보고서 생성 성능에 대해 평가하기 위해.

제안 방법

• 의료 소견을 노드로, 그들의 연관성을 간선으로 하는 RadLex 온톨로지에서 지식 그래프를 구축하며, 보고서의 텍스트 마이닝 결과에서 유래한 보조 노드를 추가로 포함한다.
• 그래프 컬러이션 네트워크(GCN)를 사용하여 그래프 구조에 기반해 노드 표현을 전파하고 개선하며, 이미지 특징은 주의 메커니즘을 통해 통합한다.
• 이미지 특징은 CheXpert에서 사전 훈련된 DenseNet-121 백본을 사용해 추출되며, 이후 GCN가 학습한 노드 특징과 융합되어 후속 작업에 활용된다.
• 모델은 다중 레이블 질병 분류를 위한 브런치와 계층적 보고서 생성을 위한 이중 레벨 디코더를 사용하는 이중 구조를 채택한다.
• 이 프레임워크는 두 단계 훈련 절차를 사용한다: 첫 번째 단계에서는 첫 20개의 질병 노드에서 교차 엔트로피 손실을 사용해 다중 레이블 분류를 최적화하고, 두 번째 단계에서는 교차 엔트로피와 강화 학습의 조합을 사용해 보고서 생성을 훈련한다.
• 보조 노드(10개)는 그래프에 포함되지만 분류 손실에서 제외되어 특징 표현을 풍부하게 하되 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 텍스트 마이닝 지식 그래프를 통합할 경우, 사전 지식이 없는 모델 대비 방사선 검사 보고서 생성 품질을 향상시킬 수 있는가?
• RQ2 의료 소견 간의 연관성(지식 그래프로 모델링)은 생성된 보고서의 일관성과 정확성에 어떤 영향을 미치는가?
• RQ3 통합된 사전 지식이 통합 프레임워크 내에서 질병 분류 및 보고서 생성 성능을 어느 정도 향상시키는가?
• RQ4 보조적인 텍스트 마이닝 소견의 포함 여부가 모델이 미세한 방사선 소견을 포착하는 데 기여하는가?

주요 결과

• 제안된 모델은 IU X-ray 데이터셋에서 ROUGE-L 0.384 ± 0.007 및 CIDEr 0.340 ± 0.011의 성능을 달성하였으며, 이는 이전 최신 기술 수준 방법 대비 1.5–2.0% 향상된 결과이다.
• Zhang et al. [13]에 비해 ROUGE-L과 CIDEr 모두에서 각각 2.0% 및 1.5% 향상되어, 텍스트 마이닝 지식의 효과성을 입증한다.
• 절단 실험 결과 지식 그래프와 보조 노드 모두 보고서 생성 성능 향상에 기여하는 것으로 확인되었다.
• 대부분의 질병에서 Zhang et al. [13]과 유사한 AUC 성능 유지를 유지하여, 지식 통합이 분류 정확도를 손상시키지 않는다는 것을 시사한다.
• 오류 분석 결과, 모델이 희귀 소견(예: Calcinosis에서의 칼슘화된 육종)을 종종 생략하는 경향이 있어, 저빈도 패tern을 포착하는 데 한계가 있음을 시사한다.
• 이미지 품질을 가우시안 노이즈로 떨어뜨리면 AUC가 0.786에서 0.683으로 감소하고 보고서 생성 지표도 낮아지며, 입력 품질에 민감한 것으로 나타났다.