[논문 리뷰] A Comparison of Pre-trained Vision-and-Language Models for Multimodal Representation Learning across Medical Images and Reports

Yikuan Li, Hanyin Wang외 1명|arXiv (Cornell University)|2020. 09. 03.

Multimodal Machine Learning Applications참고 문헌 49인용 수 7

한 줄 요약

이 연구는 흉부 X-레이와 영상의학 보고서로부터 연합된 이미지-텍스트 표현을 학습하기 위해 사전 훈련된 시각-언어(V+L) 모델 네 종류—LXMERT, VisualBERT, UNITER, PixelBERT—을 평가한다. 이 모델들이 흉부 이상 소견 분류에서 CNN-RNN 기반 모델보다 뛰어난 성능을 보임을 입증하며, 추론 분석을 통해 연합 임bedding과 사전 훈련의 우수성을 확인한다.

ABSTRACT

Joint image-text embedding extracted from medical images and associated contextual reports is the bedrock for most biomedical vision-and-language (V+L) tasks, including medical visual question answering, clinical image-text retrieval, clinical report auto-generation. In this study, we adopt four pre-trained V+L models: LXMERT, VisualBERT, UNIER and PixelBERT to learn multimodal representation from MIMIC-CXR radiographs and associated reports. The extrinsic evaluation on OpenI dataset shows that in comparison to the pioneering CNN-RNN model, the joint embedding learned by pre-trained V+L models demonstrate performance improvement in the thoracic findings classification task. We conduct an ablation study to analyze the contribution of certain model components and validate the advantage of joint embedding over text-only embedding. We also visualize attention maps to illustrate the attention mechanism of V+L models.

연구 동기 및 목표

• 의료 영상과 보고서로부터 연합된 이미지-텍스트 표현을 학습하는 데 있어 사전 훈련된 네 종류의 V+L 모델의 성능 평가.
• 다중 레이블 흉부 이상 소견 분류 작업에서 기존의 CNN-RNN 기반 모델(TieNet)과 사전 훈련된 V+L 모델의 효과성 비교.
• 추론 연구를 통해 연합된 이미지-텍스트 임베딩과 텍스트 전용 임베딩 간 기여도 분석.
• 생물의학 분야에서 사전 훈련과 무작위 가중치로 훈련하는 것의 성능 영향 분석.
• 주의 맵과 모odal 중요도 점수를 활용해 V+L 모델의 주의 메커니즘을 시각화하고 모odal 상호작용 이해.

제안 방법

• MIMIC-CXR 데이터셋에서 사전 훈련된 네 종류의 V+L 모델(LXMERT, VisualBERT, UNITER, PixelBERT)을 미세조정하여 연합된 이미지-텍스트 표현 학습.
• [CLS] 토큰 위에 다중 레이블 분류 헤드를 적용하여 13개의 흉부 이상 소견을 쌍으로 구성된 CXR 영상과 영상의학 보고서에서 예측.
• 데이터 전처리를 통해 각 보고서에 대해 첫 번째 정면 영상만 유지하고, 레이블을 4개에서 2개 클래스(양성/음성)로 재분류.
• 연합된 이미지-텍스트 임베딩, 텍스트 전용 임베딩, 무작위 가중치 모델 간의 추론 연구를 수행하여 연합 학습의 기여도를 고립 분석.
• 최고 성능을 보인 모델(VisualBERT)의 다양한 레이어에서 주의 맵을 시각화하여 모달 상호작용과 주의 패턴 분석.
• 레이어 수준의 모달 중요도(MI) 점수를 계산하여 시각적 및 텍스트 모달의 상대적 주의 기여도를 정량적으로 평가.

Figure 1: Overview of applying V+L models to learn joint image-text embedding from CXR images and associated reports for thoracic findings identification.

실험 결과

연구 질문

• RQ1 사전 훈련된 시각-언어 모델은 흉부 이상 소견 분류를 위한 연합 표현 학습에서 CNN-RNN 기반 모델과 어떻게 비교되는가?
• RQ2 의료 분야의 V+L 작업에서 연합된 이미지-텍스트 임베딩과 텍스트 전용 임베딩 간의 상대적 기여도는 어떠한가?
• RQ3 생물의학 분야에서 사전 훈련은 랜덤 가중치로 훈련하는 것보다 의미 있는 성능 향상을 제공하는가?
• RQ4 V+L 모델의 주의 메커니즘이 다양한 레이어에서 시각적 및 텍스트 모달 간 어떻게 분포되는가?
• RQ5 V+L 모델의 실패 모드는 무엇이며, 토크나이제이션과 보고서 자르기(truncation)는 예측에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 V+L 모델은 OpenI 데이터셋에서 CNN-RNN 기반 모델(TieNet)을 상당히 뛰어넘었으며, 흉부 이상 소견 분류에서 평균 F1 점수 15% 향상.
• 추론 연구를 통해 연합된 이미지-텍스트 임베딩이 항상 텍스트 전용 임베딩보다 뛰어나며, 다중모달 융합의 가치를 입증.
• 사전 훈련은 무작위 가중치로 훈련하는 것보다 뚜렷한 성능 향상을 제공하여, 대규모 데이터에서의 사전 훈련의 중요성을 강조.
• VisualBERT가 네 모델 중 최고 성능을 기록했으며, OpenI 테스트 세트에서 평균 F1 점수 0.54 달성.
• 레이어 수준의 모달 중요도(MI) 점수는 특히 중간 레이어에서 텍스트 모달이 시각 모달보다 훨씬 더 높은 주의를 받는 것으로 나타났다.
• 오류 분석 결과, 서브워드 토크나이제이션(예: WordPiece)은 희귀어(예: 'hydropneumothorax')가 더 흔한 단어(예: 'pneumothorax')와 일치하는 서브워드로 분할될 경우 임의의 양성 결과를 유도할 수 있음을 확인.

Figure 2: Visualization of the selected attention maps learned by the VisualBERT model.