[논문 리뷰] Cross-modal Memory Networks for Radiology Report Generation

Zhihong Chen, Yaling Shen외 2명|arXiv (Cornell University)|2022. 04. 28.

Multimodal Machine Learning Applications인용 수 26

한 줄 요약

이 논문은 Cross-modal Memory Networks (CMN)을 도입하여 공유 기억에 이미지-텍스트 정렬을 저장하고 IU X-Ray 및 MIMIC-CXR 데이터셋에서 최첨단 결과를 달성하여 방사선과 보고서 생성을 향상시킵니다.

ABSTRACT

Medical imaging plays a significant role in clinical practice of medical diagnosis, where the text reports of the images are essential in understanding them and facilitating later treatments. By generating the reports automatically, it is beneficial to help lighten the burden of radiologists and significantly promote clinical automation, which already attracts much attention in applying artificial intelligence to medical domain. Previous studies mainly follow the encoder-decoder paradigm and focus on the aspect of text generation, with few studies considering the importance of cross-modal mappings and explicitly exploit such mappings to facilitate radiology report generation. In this paper, we propose a cross-modal memory networks (CMN) to enhance the encoder-decoder framework for radiology report generation, where a shared memory is designed to record the alignment between images and texts so as to facilitate the interaction and generation across modalities. Experimental results illustrate the effectiveness of our proposed model, where state-of-the-art performance is achieved on two widely used benchmark datasets, i.e., IU X-Ray and MIMIC-CXR. Further analyses also prove that our model is able to better align information from radiology images and texts so as to help generating more accurate reports in terms of clinical indicators.

연구 동기 및 목표

• 자동 방사선 보고서 생성을 통해 방사선과 의사의 업무 부담을 완화한다.
• 흉부 X-레이 이미지와 보고서 간의 크로스모달 정렬을 명시적으로 모델링하고 활용한다.
• 공유 크로스모달 정보를 저장하는 메모리 기반 매개를 도입한다.
• 메모리 기반 교차 모달 상호작용으로 인코더-디코더(Transformer)를 강화한다.
• 두 개의 벤치마크 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 이미지 영역 기반 특징을 얻기 위해 CNN 기반의 시각적 추출기를 사용한다.
• 이미지-텍스트 정렬을 인코딩하기 위해 공유 메모리 매트릭스를 갖는 크로스모달 메모리 네트워크(CMN)를 도입한다.
• 입력 특징과 메모리 벡터를 공통 공간으로 매핑하고 상위-K개의 메모리를 선택하는 방식으로 메모리 질의를 수행한다.
• 시각적 입력과 텍스트 입력에 대해 변환된 메모리 벡터의 가중 합으로 응답을 생성한다.
• 메모리 응답을 Transformer 기반의 인코더-디코더에 공급하여 방사선 보고서를 생성한다.

실험 결과

연구 질문

• RQ1 공유 크로스모달 메모리가 방사선 보고서 생성을 위한 정렬과 생성 품질을 향상시킬 수 있는가?
• RQ2 CMN이 표준 방사선 벤치마크에서 단일 모달 메모리이나 메모리 없음 베이스라인보다 성능이 우수한가?
• RQ3 메모리 크기와 질의 매개변수가 생성 품질과 정렬에 어떤 영향을 미치는가?
• RQ4 인코딩과 디코딩에서의 공동 메모리 사용이 디코딩만에서의 메모리 사용보다 더 큰 이득을 주는가?

주요 결과

• CMN 기반 모델이 NLG 및 해당될 경우 CE 지표에서 벤치마인들을 능가한다.
• Base+cmn은 IU X-Ray 및 MIMIC-CXR에서 평가된 모델 중 BLEU/METEOR/ROUGE-L 점수에서 최고를 기록한다.
• 메모리 증가를 활용한 인코딩과 디코딩의 조합이 디코딩에만 메모리를 사용하는 경우보다 더 큰 이득을 준다(Base+cmn > Base+mem).
• 메모리 크기는 어느 정도까지는 큰 도움이 되나(적당한 N에서 이상적), 그 이후로는 메모리가 충분히 업데이트되지 않아 이득이 포화되거나 악화될 수 있다.
• 모델은 질적 분석과 사례 연구를 통해 이미지-텍스트 매핑 및 정렬에 의미 있는 결과를 보여준다.