[논문 리뷰] Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation

Fenglin Liu, Xian Wu외 3명|arXiv (Cornell University)|2021. 06. 13.

Multimodal Machine Learning Applications참고 문헌 43인용 수 20

한 줄 요약

이 논문은 후행 지식(질병 주제 태그를 통한 병변 영역)과 선행 지식(의료 지식 그래프 및 이전 보고서)을 탐색하고, 이를 다중 도메인 지식 정련 모듈을 통해 정련함으로써 시각적 및 텍스트 데이터 편향을 완화하는 새로운 프레임워크 PPKED를 제안한다. 이 방법은 MIMIC-CXR 및 IU-Xray 데이터셋에서 이전 최고 성능 모델을 능가하여 더 정확하고 균형 잡히며 세부적인 보고서를 생성함으로써 이상 징후 탐지 능력을 향상시킨다.

ABSTRACT

Automatically generating radiology reports can improve current clinical practice in diagnostic radiology. On one hand, it can relieve radiologists from the heavy burden of report writing; On the other hand, it can remind radiologists of abnormalities and avoid the misdiagnosis and missed diagnosis. Yet, this task remains a challenging job for data-driven neural networks, due to the serious visual and textual data biases. To this end, we propose a Posterior-and-Prior Knowledge Exploring-and-Distilling approach (PPKED) to imitate the working patterns of radiologists, who will first examine the abnormal regions and assign the disease topic tags to the abnormal regions, and then rely on the years of prior medical knowledge and prior working experience accumulations to write reports. Thus, the PPKED includes three modules: Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). In detail, PoKE explores the posterior knowledge, which provides explicit abnormal visual regions to alleviate visual data bias; PrKE explores the prior knowledge from the prior medical knowledge graph (medical knowledge) and prior radiology reports (working experience) to alleviate textual data bias. The explored knowledge is distilled by the MKD to generate the final reports. Evaluated on MIMIC-CXR and IU-Xray datasets, our method is able to outperform previous state-of-the-art models on these two datasets.

연구 동기 및 목표

• 정상 소견이 지배하고 희귀한 이상 소견이 부족하게 표현되는 방사선 보고서 생성에서 심각한 시각적 및 텍스트 데이터 편향을 해결하기 위해.
• 먼저 병변 영역을 식별하고 나서 의료 지식과 임상 경험을 활용하는 방식으로 방사선 전문의의 임상 워크플로우를 모방하기 위해.
• 후행 지식(이미지 기반)과 선행 지식(지식 기반)을 효과적으로 탐색하고 정련하여 보다 향상된 보고서 생성을 위한 프레임워크를 개발하기 위해.
• 희귀하지만 중요한 이상 소견을 더 정확하고 다양한 방식으로 잘 반영하는 임상적으로 관련성이 높은 보고서를 생성하기 위해.

제안 방법

• 후행 지식 탐색기(Posterior Knowledge Explorer, PoKE)는 질병 주제 태그를 사용하여 방사선 사진 내 병변 영역을 국소화하고 주의를 집중시어 시각적 데이터 편향을 줄인다.
• 선행 지식 탐색기(Prior Knowledge Explorer, PrKE)는 사전 구축된 의료 지식 그래프와 검색된 이전 방사선 보고서로부터 선행 지식을 인코딩하여 텍스트 데이터 편향을 줄인다.
• 다중 도메인 지식 정련기(Multi-domain Knowledge Distiller, MKD)는 후행 지식과 선행 지식을 적응형 정련 주의(Adaptive Distilling Attention, ADA) 메커니즘을 통해 동적으로 융합하며, 각 생성 문장에 대해 동적 주의 가중치를 학습한다.
• ADA 메커니즘은 후행 지식과 선행 지식의 기여도를 균형 잡기 위해 λ₁과 λ₂의 주의 가중치를 계산하며, 이상 징후 관련 콘텐츠에 더 높은 가중치를 할당한다.
• 프레임워크는 보고서 생성 시 장거리 의존성을 모델링하기 위해 트랜스포머 기반 디코더를 사용하여 일관성과 유창성을 향상시킨다.
• 지식 정련은 시각적, 텍스트적, 구조적 다수의 도메인에 걸쳐 적용되어 생성된 보고서와 임상 소견 간의 일치를 보장한다.

Figure 1: Two examples of ground truth reports and reports generated by HRNN [ 19 ] and our method. The Red colored text indicates the abnormalities in reports. The Blue colored text stands for the similar sentences used to describe the normalities in ground truth reports. There are notable data bia

실험 결과

연구 질문

• RQ1 질병 주제 태그를 통한 후행 지식 탐색이 희귀하고 다양한 병변 영역을 방사선 영상에서 더 잘 탐지할 수 있는가?
• RQ2 의료 지식 그래프와 이전 보고서로부터의 선행 지식이 보고서 생성에서 텍스트 데이터 편향을 줄일 수 있는가?
• RQ3 후행 지식와 선행 지식 간의 적응형 지식 정련이 더 정확하고 균형 잡힌 보고서를 생성하는 데 기여하는가?
• RQ4 제안된 PPKED 프레임워크가 기존 최고 성능 모델보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• PPKED 프레임워크는 MIMIC-CXR 및 IU-Xray 데이터셋 양쪽에서 이전 최고 성능 모델을 능가하여 보고서 생성 성능이 뛰어나다는 것을 입증하였다.
• 적응형 정련 주의(Adaptive Distilling Attention, ADA) 메커니즘이 이상 징후 관련 지식에 더 높은 주의 가중치를 할당하는 데 성공하였으며, λ₁과 λ₂ 값이 정상 문장보다 이상 소견 관련 문장에서 유의미하게 높았다.
• 모델은 지표 보고서와의 일치도가 높은 보고서를 생성하였으며, 심장비대, 흉막출액, 기공폐색과 같은 희귀한 이상 소견을 정확하게 묘사한 것으로 확인되었고, 정성적 예시에서 이를 입증하였다.
• MKD 모듈에서 트랜스포머 기반 디코더를 사용한 결과, LSTM 기반 디코더보다 성능이 뛰어나 장거리이고 일관성 있는 문장 시퀀스를 효과적으로 모델링할 수 있음을 확인하였다.
• 정련 과정은 이전 경험(검색된 보고서)과 선행 의료 지식(지식 그래프)을 효과적으로 활용하였으며, 정상성 문장에서는 더 풍부한 선행 텍스트 패턴으로 인해 λ₂ 값이 더 높았다.
• 모든 비교 모델 중 '정상'(Normal) 카테고리의 AUC 스코어가 가장 높았으며, 이는 정상 소견에 대한 정확한 묘사 능력이 뛰어나다는 것을 시사한다.

Figure 2: Illustration of our proposed Posterior-and-Prior Knowledge Exploring-and-Distilling (PPKED) approach, which includes Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE) and Multi-domain Knowledge Distiller (MKD). Specifically, PoKE explores the posterior knowledge by extra