[논문 리뷰] Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing

Shruthi Bannur, Stephanie L. Hyland외 14명|arXiv (Cornell University)|2023. 01. 11.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

BioViL-T는 선행 이미지를 활용하고 보고서를 활용하는 다중 이미지 인코더를 도입하여 생의학 데이터에 대한 비전–언어 모델의 사전 학습을 수행하고, 보고서 생성, 시간적 이미지 분류, 구문 바인딩과 같은 시간적 및 비시간적 작업에서 최첨단 결과를 달성합니다.

ABSTRACT

Self-supervised learning in vision-language processing exploits semantic alignment between imaging and text modalities. Prior work in biomedical VLP has mostly relied on the alignment of single image and report pairs even though clinical notes commonly refer to prior images. This does not only introduce poor alignment between the modalities but also a missed opportunity to exploit rich self-supervision through existing temporal content in the data. In this work, we explicitly account for prior images and reports when available during both training and fine-tuning. Our approach, named BioViL-T, uses a CNN-Transformer hybrid multi-image encoder trained jointly with a text model. It is designed to be versatile to arising challenges such as pose variations and missing input images across time. The resulting model excels on downstream tasks both in single- and multi-image setups, achieving state-of-the-art performance on (I) progression classification, (II) phrase grounding, and (III) report generation, whilst offering consistent improvements on disease classification and sentence-similarity tasks. We release a novel multi-modal temporal benchmark dataset, MS-CXR-T, to quantify the quality of vision-language representations in terms of temporal semantics. Our experimental results show the advantages of incorporating prior images and reports to make most use of the data.

연구 동기 및 목표

• 생물의학 비전–언어 사전 학습에서 시간 정보의 불일치 및 활용 저하를 동기 부여하고 해결한다.
• 이미지 등록 없이 지금 이미지와 선행 이미지를 함께 처리하는 멀티-이미지 CNN–트랜스포머 인코더 BioViL-T를 개발한다.
• 이미지-텍스트를 공유 잠재 공간으로 매핑하기 위해 이미지-가이드 마스킹 언어 모델링 및 대조 학습(Objectives)으로 시간 인식 자기지도 학습을 통해 공동 표현을 학습한다.
• 정적 및 시간적 하류 작업에서 데이터 효율성과 광범위한 적용 가능성을 시演하고 MS-CXR-T를 시간적 VLP 벤치마크로 공개한다.
• 선행 맥락을 포함하면 보고 생성, 폐렴 탐지, 구문 바인딩 등 시간적 및 비시간적 작업 모두에 이점을 보여준다.

제안 방법

• 현재 이미지 및 선행 이미지 정보를 명시적 이미지 등록 없이 집계하는 CNN–트랜스포머 하이브리드 다중 이미지 인코더 BioViL-T를 제안한다.
• 텍스트 인코더를 CXR-BERT에서 초기화하고 이미지/텍스트 특징을 공유 잠재 공간으로 투영한다.
• 크로스 모달 표현 정렬을 위한 이미지 가이드 마스킹 언어 모델링 및 글로벌/로컬 대조 손실(InfoNCE)을 사용해 학습한다.
• 선행 이미지가 있을 때 현재 이미지 특징과 진행 특징을 연결하여 정적 및 시간적 이미지 특징을 분해하고, 그렇지 않으면 학습된 누락 토큰을 사용한다.
• 현재 발견 내용을 맥락화하기 위해 특화된 프롬프트/구분자 를 통해 선행 보고서를 보고 생성의 조건으로 사용한다.
• 더 높은 품질의 다중 이미지 연구를 위한 MS-CXR-T의 시간적 데이터 큐레이션 및 고품질 다중 이미지 연구를 위한 데이터셋 큐레이션; 정적 및 시간적 작업에서 제로샷/소샷 및 완전 지도 settings를 평가한다.

실험 결과

연구 질문

• RQ1 생물의학 비전–언어 사전 학습에서 시간 구조와 선행 이미징 정보를 어떻게 통합하여 다운스트림 작업을 개선할 수 있는가?
• RQ2 시간 정렬이 가능한 다중 이미지 인코더가 단일 이미지 기반선보다 시간적 및 비시간적 생의학 VLP 작업에서 성능이 더 우수한가?
• RQ3 Explicit한 시간적 맥락(선행 보고서 및 선행 이미지)이 보고 생성 품질과 사실성에 어떤 영향을 미치는가?
• RQ4 시간 인식 사전 학습이 폐렴 탐지 및 구문 바인딩과 같은 정적 작업으로 일반화될 수 있는가, 그리고 이 접근 방식의 데이터 효율성은 어느 정도인가?
• RQ5 가슴 X-선 데이터의 시계적 의미를 포착하기 위한 비전–언어 모델에서 어떤 벤치마크와 지표가 시간적 의미를 가장 잘 포착하는가?

주요 결과

방법	사전 학습	PI / PR	BLEU-4	ROUGE	CHEXBERT	TEM
NN Baseline (NN) CXR-RePaiR-2	BioViL	✗ / ✗	2.1	14.3	28.1	12.5
Baseline (NN) [9]	BioViL	✗ / ✗	3.7	20.0	28.3	11.1
Proposed (NN) BioViL-T	✓ / ✗	4.5	20.5	29.0	13.0
AR Baseline (AR) [9]	BioViL	✗ / ✗	7.5 p m 0.1	27.9 p m 0.1	29.3 p m 0.3	13.8 p m 0.1
Proposed BioViL-T	✓ / ✗	8.2 p m 0.1	28.7 p m 0.1	30.2 p m 0.7	16.0 p m 0.3
Proposed BioViL-T	✓ / ✓	9.2 p m 0.3	29.6 p m 0.1	31.7 p m 1.0	17.5 p m 0.1

• BioViL-T는 선행 이미지 맥락을 사용하여 시간적 이미지 분류 및 보고 생성 작업에서 최첨단 성능을 달성한다.
• 선행 이미지를 이용한 시간적 사전 학습은 제로샷/소샷 및 전체 데이터 성능을 여러 작업에서 향상시킨다.
• 선행 보고서를 프롬프트로 활용하면 보고 생성 품질이 향상되며, 특히 시간적 변화에 대해 TEM 점수가 더 높아 변화 설명이 더 우수하다.
• 폐렴 분류 및 구문 바인딩과 같은 정적 작업도 시간 학습의 이점을 누려 비시간적 기준선보다 우수하다.
• BioViL-T로 학습된 텍스트 임베딩은 시간 민감성을 향상시켜 시간 문장 유사도 벤치마크를 개선한다.
• 포즈 변화 및 누락 입력에서 견고한 성능을 위해 정적 대 진행 피처 구분과 시간 인코딩이 포함된 전용 다중 이미지 인코더가 중요하다.