[논문 리뷰] Rethinking Medical Report Generation: Disease Revealing Enhancement with Knowledge Graph

Yixin Wang, Zihao Lin외 1명|arXiv (Cornell University)|2023. 07. 24.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 흉부 X-ray 보고서에서 희귀 질환의 분포가 길게 펴져 있는 문제를 해결하기 위해 지식 그래프(KG)를 활용한 이단계적 의료 보고서 생성 프레임워크를 제안한다. 137종의 질환 유형을 포함하는 포괄적인 지식 그래프를 구축하고, KG 기반 데이터 증강 기법을 적용함으로써 새로운 평가 지표인 다양성 민감도(DS)를 통해 임상적 유의성을 향상시켰으며, 기준 모델 대비 DS 지표에서 25%의 상대적 향상을 기록(0.1902)하여 희귀 질환 언급의 생성 능력을 크게 향상시켰다.

ABSTRACT

Knowledge Graph (KG) plays a crucial role in Medical Report Generation (MRG) because it reveals the relations among diseases and thus can be utilized to guide the generation process. However, constructing a comprehensive KG is labor-intensive and its applications on the MRG process are under-explored. In this study, we establish a complete KG on chest X-ray imaging that includes 137 types of diseases and abnormalities. Based on this KG, we find that the current MRG data sets exhibit a long-tailed problem in disease distribution. To mitigate this problem, we introduce a novel augmentation strategy that enhances the representation of disease types in the tail-end of the distribution. We further design a two-stage MRG approach, where a classifier is first trained to detect whether the input images exhibit any abnormalities. The classified images are then independently fed into two transformer-based generators, namely, ``disease-specific generator" and ``disease-free generator" to generate the corresponding reports. To enhance the clinical evaluation of whether the generated reports correctly describe the diseases appearing in the input image, we propose diverse sensitivity (DS), a new metric that checks whether generated diseases match ground truth and measures the diversity of all generated diseases. Results show that the proposed two-stage generation framework and augmentation strategies improve DS by a considerable margin, indicating a notable reduction in the long-tailed problem associated with under-represented diseases.

연구 동기 및 목표

• 의료 보고서 생성 데이터셋에서 희귀 질환이 부족하게 나타나는 질환의 길게 펴진 분포 문제를 해결하기 위해.
• 특히 희귀 상태에 대해 정확하고 다양한 질환 키워드 언급을 보장함으로써 생성된 보고서의 임상적 유의성을 향상시키기 위해.
• 흉부 X-ray 질환 137종을 포함하는 지식 그래프(KG)를 구축하여 질환 간 관계를 모델링하고, 데이터 증강 및 평가를 지원하기 위해.
• 생성된 보고서 내 질환 언급의 정확성과 다양성을 모두 측정하는 새로운 평가 지표인 다양성 민감도(DS)를 제안하기 위해.
• 지식 그래프에 기반한 임상적 유의성 기반 학습 및 평가가 기존의 N-gram 기반 지표(예: BLEU)보다 실제 임상 적용에서 더 우수한 성능을 보일 수 있음을 입증하기 위해.

제안 방법

• 두 개의 공개 데이터셋(IU-Xray 및 MIMIC-CXR)에서 유래한 자료를 통합하여, 8개 카테고리에 걸쳐 총 137종의 질환 유형을 포함하는 포괄적인 지식 그래프(KG)를 구축하였다. 이는 질환 간 관계를 모델링하기 위함이다.
• 이단계 생성 프레임워크를 설계하였다: 첫 번째 단계에서는 이미지에 이상 징후가 있는지 여부를 분류기로 확인하고, 두 번째 단계에서는 분류 결과에 따라 '질환 특정' 또는 '질환 없음' 보고서를 생성하는 두 개의 별도 트랜스포머 기반 생성기로 나누어 작동한다.
• 희귀 질환 유형에 대한 저빈도 클래스의 균형을 맞추기 위해, 지식 그래프를 활용한 새로운 데이터 증강 전략을 도입하였다.
• 다양성 민감도(DS) 평가 지표를 제안하여, 실제 질환 키워드의 재현율과 생성된 보고서 내 질환 언급의 다양성을 동시에 측정함으로써 모델 성능을 평가한다.
• 모델 학습 및 선택 과정에서 BLEU 점수보다 DS 점수를 우선시하여, n-gram 일치보다 임상 정확성을 더 중요하게 고려한다.
• 모델은 IU-Xray 데이터셋에서 평가되었으며, 비교를 위해 R2Gen 기준 모델과 동일한 초모델 설정 및 하이퍼파라미터를 사용하였다.

Figure 1: Illustration of counts of labeled sentences and disease keywords in IU-Xray. Part (a) shows the count of sentences that have common diseases (d_com), uncommon diseases (d_tail), or do not have diseases (d_free). Part (b) shows parts of distributions of diseases and abnormalities in origina

실험 결과

연구 질문

• RQ1 기존 의료 보고서 데이터셋에서 질환 빈도의 길게 펴진 분포가 모델 성능, 특히 희귀 질환에 대해 어떤 영향을 미치는가?
• RQ2 지식 그래프를 활용하여 데이터 증강을 유도하고, 의료 보고서 생성에서 저빈도 질환 유형의 표현을 향상시킬 수 있는가?
• RQ3 질환 특정 및 질환 없음 보고서 생성을 분리하는 이단계 프레임워크가 종단간 모델 대비 더 높은 임상적 유의성을 가지는가?
• RQ4 새로운 평가 지표인 다양성 민감도(DS)가 기존의 N-gram 기반 지표(BLEU 등)보다 의료 보고서 생성의 임상적 유용성을 더 잘 반영할 수 있는가?
• RQ5 DS 기반 학습이 BLEU 기반 학습에 비해 희귀 질환 언급 생성 능력을 얼마나 향상시키는가?

주요 결과

• KG 기반 증강을 적용한 제안된 이단계 생성 프레임워크는 DS 점수 0.1902를 기록하여 R2Gen의 0.1523보다 유의미하게 향상되었으며, 이는 질환 언급 탐지 및 다양성 향상에 기여함을 시사한다.
• 제안된 방법의 DOR 점수는 0.5138로, R2Gen의 0.2911보다 높아 질환 탐지 능력과 보고서 품질 간의 균형이 더 우수함을 보여준다.
• 증강 전략을 제거한 경우 DS 점수는 0.1634로 하락하여, 데이터 균형 조절이 희귀 질환 생성 향상에 핵심적인 역할을 한다는 점을 확인한다.
• 질환 특정 전용 생성기의 경우 DS 점수는 0.1955로 매우 높았지만, 정상 보고서 생성이 불가능하여 DOR 점수는 0으로 떨어졌으며, 이는 이러한 모델의 임상적 한계를 보여준다.
• BLEU 최적화를 거친 R2Gen 모델은 높은 BLEU 점수를 기록했지만, DS 점수는 근접한 0.0324, 민감도는 0.0186에 머물러 있어, 기존 지표가 임상 정확성을 반영하지 못함을 입증한다.
• 정성적 분석 결과, 제안된 방법은 '간질성 투명도' 및 '부종'과 같은 희귀 이상 소견에 대해 임상적으로 관련성이 있는 기술을 성공적으로 생성하였으며, 이는 KG에 주석 처리된 키워드와 일치함을 확인하였다.

Figure 2: An illustration of our proposed knowledge graph, which contains “normal” and 8 disease categories including 7 organs and an “other” category. Each category further branches out into its corresponding specific diseases.