[논문 리뷰] Knowledge Matters: Radiology Report Generation with General and Specific Knowledge

Shuxin Yang, Xian Wu외 3명|arXiv (Cornell University)|2021. 12. 30.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 일반 지식(이미지에 종속되지 않은)과 특정 지식(이미지에 종속된)을 지식 향상 다중 헤드 어텐션 메커니즘을 통해 통합함으로써 흉부 레이저 영상 보고서 생성을 위한 지식 향상 프레임워크를 제안한다. 이 방법은 IU-Xray 및 MIMIC-CXR 데이터셋에서 최신 기술을 초월하며, 자연어 생성(NLG) 및 임상 효용성 지표에서 일관된 향상을 보이며, 추론 분석을 통해 두 가지 지식 유형의 효과성을 확인한다.

ABSTRACT

Automatic radiology report generation is critical in clinics which can relieve experienced radiologists from the heavy workload and remind inexperienced radiologists of misdiagnosis or missed diagnose. Existing approaches mainly formulate radiology report generation as an image captioning task and adopt the encoder-decoder framework. However, in the medical domain, such pure data-driven approaches suffer from the following problems: 1) visual and textual bias problem; 2) lack of expert knowledge. In this paper, we propose a knowledge-enhanced radiology report generation approach introduces two types of medical knowledge: 1) General knowledge, which is input independent and provides the broad knowledge for report generation; 2) Specific knowledge, which is input dependent and provides the fine-grained knowledge for report generation. To fully utilize both the general and specific knowledge, we also propose a knowledge-enhanced multi-head attention mechanism. By merging the visual features of the radiology image with general knowledge and specific knowledge, the proposed model can improve the quality of generated reports. Experimental results on two publicly available datasets IU-Xray and MIMIC-CXR show that the proposed knowledge enhanced approach outperforms state-of-the-art image captioning based methods. Ablation studies also demonstrate that both general and specific knowledge can help to improve the performance of radiology report generation.

연구 동기 및 목표

• 데이터 기반 레이저 영상 보고서 생성에서 시각적 및 텍스트적 편향을 해결하기 위해 전문 의료 지식을 통합한다.
• 기존 인코더-디코더 모델에서 정밀한 전문 지식 통합의 부족을 해결한다.
• 일반 지식(광범위하고 이미지에 종속되지 않은)과 특정 지식(세밀하고 이미지에 종속된)의 두 가지 유형을 도입함으로써 보고서 품질을 향상시킨다.
• 시각적 특징과 구조화된 지식을 융합하기 위해 지식 향상 다중 헤드 어텐션 메커니즘을 개발한다.
• 추론 분석과 임상 효용성 지표를 통해 일반 지식 및 특정 지식의 효과성을 검증한다.

제안 방법

• 모델은 사전 구축된 지식 그래프(RadGraph)를 사용하여 일반 지식을 추출하며, 이는 일반적인 방사선학적 용어와 관계를 나타낸다.
• 특정 지식을 위해, 데이터셋에서 유사한 레이저 영상 보고서 상위-k개를 검색하고, 현재 입력 이미지에 대해 관련 엔터티와 관계를 추출한다.
• 지식 향상 다중 헤드 어텐션(KEMHA) 메커니즘을 제안하여 시각적 특징, 일반 지식 임베딩, 특정 지식 임베딩을 동시에 고려한다.
• KEMHA 메커니즘은 시각적 특징과 지식 표현을 융합하여 어텐션 점수를 계산함으로써 디코더가 관련 의학적 개념에 주의를 기울일 수 있도록 한다.
• 지식 그래프 임베딩은 RotatE, TransE 또는 TransR를 사용하여 학습하며, 추론 분석에서 RotatE가 가장 우수한 성능을 보였다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련하고, 자동 평가(BLEU, CIDEr) 및 임상 효용성(CE) 지표로 평가한다.

Fig. 1: A radiology examination record and corresponding knowledge graph. The figure displays three parts of information. The first part includes posterior-anterior(PA) and lateral(LAT) chest x-ray images. The second part is the corresponding report which is highlighted by different relationships. T

실험 결과

연구 질문

• RQ1 일반 지식 통합이 레이저 영상 보고서 생성의 품질과 일관성에 향상 효과를 줄 수 있는가?
• RQ2 유사 보고서에서 유도된 영상 특화 지식이 미세하거나 희귀한 이상 징후의 탐지에 향상 효과를 줄 수 있는가?
• RQ3 지식 향상 다중 헤드 어텐션 메커니즘이 시각적 표현과 지식 표현을 효과적으로 융합하여 보다 나은 보고서 생성에 기여하는가?
• RQ4 다양한 지식 그래프 임베딩 모델(RotatE, TransE 등)의 선택이 최종 보고서 품질에 영향을 주는가?
• RQ5 일반 지식와 특정 지식의 조합이 시각적 특징이나 제한된 지식 원천에 의존하는 모델보다 더 우수한 성능을 내는가?

주요 결과

• 제안된 모델은 RotatE 임베딩을 사용할 경우 IU-Xray 데이터셋에서 최신 기술을 초월하며, BLEU-4 점수 0.178과 CIDEr 점수 0.382를 기록한다.
• MIMIC-CXR 데이터셋에서는 최신 기술과 유사한 성능을 보이며, 다양한 데이터셋에 대한 강건성을 확인한다.
• 추론 분석 결과, 일반 지식 임베딩(GKE) 모듈을 제거할 경우 성능 저하가 발생하여, 이 모듈이 보고서 품질 향상에 긍정적인 영향을 미친다는 것을 확인한다.
• 특정 지식 임베딩(SKE) 모듈을 제거할 경우 성능 저하가 심해지며, 세밀한 이상 징후를 포착하는 데 있어 영상 특화 지식의 가치를 입증한다.
• 지식 그래프 임베딩 모델의 선택은 성능에 영향을 미치며, RotatE가 TransE 및 TransR를 능가함을 확인하여 보다 고급 지식 표현이 보고서 생성에 기여한다는 것을 시사한다.
• 정성적 결과 분석에서 모델은 더 정확하고 종합적인 보고서를 생성하며, 출현 및 기공성과 같은 중요한 방사선학적 징후를 더 잘 다루고 있음을 확인할 수 있었다.

Fig. 2: The proposed model architecture includes four major modules: the general knowledge embedding module embeds the general knowledge (GK) and attend the visual features by knowledge-enhanced multi-head attention; the visual feature extraction module extracts visual features and predicts the dise