[논문 리뷰] Knowledge-driven Encode, Retrieve, Paraphrase for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang외 2명|arXiv (Cornell University)|2019. 03. 25.

Multimodal Machine Learning Applications참고 문헌 41인용 수 5

한 줄 요약

이 논문은 의료 지식, 템플릿 검색, 신경적 어색한 표현 재작성(Paraphrasing)을 통합하는 새로운 프레임워크인 지식 기반 인코딩, 검색, 어색한 표현 재작성(KERP)을 제안한다. 시각적 특징에서 비정상성 그래프를 모델링하기 위해 그래프 트랜스포머(GTR)를 활용함으로써, KERP는 두 가지 벤치마크 데이터셋에서 보고서 품질, 비정상성 탐지 및 설명 가능한 주의 히트맵 정렬 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generating long and semantic-coherent reports to describe medical images poses great challenges towards bridging visual and linguistic modalities, incorporating medical domain knowledge, and generating realistic and accurate descriptions. We propose a novel Knowledge-driven Encode, Retrieve, Paraphrase (KERP) approach which reconciles traditional knowledge- and retrieval-based methods with modern learning-based methods for accurate and robust medical report generation. Specifically, KERP decomposes medical report generation into explicit medical abnormality graph learning and subsequent natural language modeling. KERP first employs an Encode module that transforms visual features into a structured abnormality graph by incorporating prior medical knowledge; then a Retrieve module that retrieves text templates based on the detected abnormalities; and lastly, a Paraphrase module that rewrites the templates according to specific cases. The core of KERP is a proposed generic implementation unit---Graph Transformer (GTR) that dynamically transforms high-level semantics between graph-structured data of multiple domains such as knowledge graphs, images and sequences. Experiments show that the proposed approach generates structured and robust reports supported with accurate abnormality description and explainable attentive regions, achieving the state-of-the-art results on two medical report benchmarks, with the best medical abnormality and disease classification accuracy and improved human evaluation performance.

연구 동기 및 목표

• 시각적, 언어적, 전문 분야 의료 지식을 통합하여 장문의, 일관성 있고 임상적으로 정확한 의료 보고서를 생성하는 데 도전하는 것.
• 구조화된 지식 그래프를 통해 비정상성 관계를 명시적으로 모델링함으로써 보고서 생성의 강건성을 향상시키는 것.
• 임상적 발견과 일치하는 주의 맵을 생성함으로써 해석 가능성 향상시키는 것.
• 세 단계 파이프라인인 인코딩, 검색, 어색한 표현 재작성으로서 검색 기반 신뢰성과 생성의 유창성 간의 균형을 이루는 것.
• 의료 보고서 벤치마크에서 자동 평가 및 인간 평가 지표에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 인코딩 모듈은 사전 의료 지식을 활용하여 시각적 특징을 구조화된 비정상성 그래프로 변환하며, 노드는 임상적 비정상성을 나타내고, 간선은 관계적 의존성을 표현한다.
• 검색 모듈은 비정상성 그래프에서 탐지된 비정상성에 기반하여 관련 텍스트 템플릿을 검색하며, 사전에 존재하는 임상 템플릿을 활용한다.
• 어색한 표현 재작성 모듈은 추출된 템플릿을 환자 특화된 세부 정보로 재작성하고 향상시켜 유창성과 정확성을 높인다.
• 새로운 그래프 트랜스포머(GTR) 유닛은 어텐션 메커니즘을 사용하여 다중 도메인 그래프 구조 데이터(예: 지식 그래프, 이미지, 시퀀스) 간에 동적으로 변환한다.
• GTR는 사전 지식를 통합하고 강력한 그래프 표현을 학습함으로써, 시각적, 지식적, 언어적 그래프 간의 효과적인 다중 모odal 변환을 가능하게 한다.
• 이 프레임워크는 비정상성 분류, 템플릿 검색, 보고서 생성의 공동 최적화를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 학습 기반 방법에 비해 지식 기반, 검색 보강 프레임워크가 의료 영상 보고서 생성의 정확성과 일관성 향상에 기여하는가?
• RQ2 의료 비정상성의 그래프 구조 표현이 임상적 관계를 얼마나 효과적으로 모델링하고 진단 추론을 향상시키는가?
• RQ3 어색한 표현 재작성 모듈이 추출된 템플릿의 유창성과 임상적 관련성을 얼마나 향상시키는가?
• RQ4 제안된 그래프 트랜스포머(GTR) 유닛이 다중 모달 의료 AI에서 다양한 그래프 구조 데이터에 일반화되는가?
• RQ5 구조화된 의료 지식 통합이 방사선 영상 발견과 일치하는 더 설명 가능한 주의 맵을 생성하는가?

주요 결과

• KERP는 BLEU-1에서 BLEU-4까지 및 ROUGE-L까지의 자동 평가 지표에서 모두 IU X-Ray 및 CX-CHR 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• IU X-Ray 데이터셋에서 KERP는 모든 베이스라인보다 BLEU-1,2,3,4 및 ROUGE-L 점수에서 뛰어나며, 강화 학습을 사용하지 않은 모델 중에서 가장 높은 CIDEr 점수를 기록한다.
• CX-CHR 데이터셋에서 KERP는 어색한 표현 재작성 기능이 없는 KER 기반 모델보다 유의미하게 뛰어나며, 어색한 표현 재작성 단계가 유창성과 자연스러움 향상에 효과적임을 입증한다.
• KERP는 두 데이터셋 모두에서 비정상성 및 질환 분류 AUC가 최고로, DenseNet보다 6% 이상 뛰어나 의료 지식을 통합함으로써 향상된 특징 학습 능력을 보여준다.
• 인간 평가 결과 KERP는 비교된 모든 베이스라인보다 더 자연스럽고 정확하며 임상적으로 관련성이 높은 보고서를 생성함을 확인했다.
• 정성적 분석 결과, 생성된 보고서와 시각적 주의 맵 간에 강력한 일치가 나타났으며, 비정상 케이스에서 오른쪽 상부 폐 부위와 같이 임상적으로 관련 있는 영역에 주의가 집중된 것으로 나타났다.