[논문 리뷰] KiUT: Knowledge-injected U-Transformer for Radiology Report Generation

Zhongzhen Huang, Xiaofan Zhang외 1명|arXiv (Cornell University)|2023. 06. 20.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

KiUT는 시각적, 문맥적, 임상 지식을 U-연결 인코더-디코더 아키텍처와 주입된 지식 증류기로 통합하여 병리학적 보고서 생성을 위한 지식 주입형 U-Transformer를 제안한다. 증상 그래프와 다중 수준의 특징 상호작용을 활용하여 IU-Xray 및 MIMIC-CXR에서 최신 기술 수준의 성능을 달성하며, 비정상 소견 기술과 보고서의 일관성에 있어 뚜렷한 향상을 이룬다.

ABSTRACT

Radiology report generation aims to automatically generate a clinically accurate and coherent paragraph from the X-ray image, which could relieve radiologists from the heavy burden of report writing. Although various image caption methods have shown remarkable performance in the natural image field, generating accurate reports for medical images requires knowledge of multiple modalities, including vision, language, and medical terminology. We propose a Knowledge-injected U-Transformer (KiUT) to learn multi-level visual representation and adaptively distill the information with contextual and clinical knowledge for word prediction. In detail, a U-connection schema between the encoder and decoder is designed to model interactions between different modalities. And a symptom graph and an injected knowledge distiller are developed to assist the report generation. Experimentally, we outperform state-of-the-art methods on two widely used benchmark datasets: IU-Xray and MIMIC-CXR. Further experimental results prove the advantages of our architecture and the complementary benefits of the injected knowledge.

연구 동기 및 목표

• 다양한 모odal 지식을 통합함으로써 기존 모델의 정확성과 방사선 전문의 수준의 보고서 생성 능력의 한계를 해결하고자 한다.
• 특히 정상 소견과 해부학적 영역의 과대표현 문제를 포함한 데이터 편향을 줄이고자 한다.
• 이미지 영역과 임상 엔티티 간의 복잡한 관계를 모델링하여 보고서 품질을 향상시키고자 한다.
• 시각과 언어 간의 다중 모odal 상호작용을 향상시키는 경량적이고 효과적인 아키텍처를 개발하고자 한다.
• 주입된 지식 증류가 디코딩 단계에서 어떻게 보다 나은 임상적 추론을 가능하게 하는지 검증하고자 한다.

제안 방법

• 인코더와 디코더 사이에 U-연결 아키텍처를 설계하여 시각적, 문맥적, 임상적 모달 간의 다중 수준 상호작용과 특징 융합을 가능하게 한다.
• 전문가가 주석 처리한 임상 엔티티와 관계를 기반으로 증상 그래프를 구축하여 동일한 임베딩 공간을 가진 구조화된 의료 지식을 제공한다.
• 단어 예측 과정에서 시각적, 문맥적, 임상적 지식을 동적으로 증류하고 통합하기 위해 디코더 상단에 주입된 지식 증류기를 도입한다.
• 영역 관계 인코더는 이미지 영역 간의 내재적(영역 내부) 및 외재적(영역 간) 관계를 모두 캡처하여 비정상 소견 탐지 능력을 향상시킨다.
• 멀티헤드 자기주의 및 피드포워드 네트워크를 활용한 트랜스포머 기반 인코더-디코더 프레임워크를 사용하며, 다중 모달 생성에 적합하게 조정된다.
• 지식 주입은 디코딩 단계에서 이루어져 시각적 특징 학습에 간섭을 일으키지 않으며 이질적인 임베딩 공간 간의 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더 사이에 U-연결 아키텍처를 도입하면 병리학 보고서 생성에서 다중 수준의 특징 상호작용이 향상되는가?
• RQ2 증상 그래프를 통한 임상 지식 주입이 생성된 보고서의 정확성과 임상적 관련성에 어떤 영향을 미치는가?
• RQ3 시각적, 문맥적, 임상적 특징에서 유도된 지식 증류가 보고서 생성 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 표준 병리학 보고서 벤치마크에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ5 표준 캡션 모델이 자주 간과하는 미세하거나 복잡한 비정상 소견을 모델이 어떻게 처리하는가?

주요 결과

• KiUT는 IU-Xray 및 MIMIC-CXR 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여 BLEU, ROUGE 등 표준 메트릭에서 이전 방법들을 압도적으로 앞서간다.
• 제거 실험 결과, 문맥적 및 임상적 특징을 모두 제거할 경우 BLEU-1 점수가 0.393에서 0.337로 감소함으로써 이들이 보고서 생성에 핵심적인 역할을 한다는 것을 확인한다.
• U-연결 구조는 표준 1:1 연결 대비 BLEU-1 점수 0.01 향상시키며, 더 복잡한 메쉬드 연결 구조와 유사한 성능을 낼 수 있지만 파라미터 수가 훨씬 적다.
• 정성적 분석 결과, KiUT는 '오른쪽 횡격막의 경미한 상승'이나 '보조 기구'와 같은 미세한 이상 소견을 정확하게 기술함으로써 미세한 비정상 소견에 대한 민감도 향상을 입증한다.
• 모델은 문맥적으로 일관된 보고서를 성공적으로 생성하여, 천식성 축적으로 인해 심장 윤곽 평가가 어려운 것처럼 임상적 추론을 반영한다.
• 주입된 지식 증류기는 증상 간의 연관성을 바탕으로 추론할 수 있도록 하여, 이미지 소견과 임상적 함의를 정확히 연결한 보고서 생성을 가능하게 한다.