[논문 리뷰] Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias

Zhongwei Wan, Che Liu외 7명|arXiv (Cornell University)|2023. 05. 31.

Multimodal Machine Learning Applications인용 수 30

한 줄 요약

Med-UniC는 Cross-lingual Text Alignment Regularization을 도입하여 영어와 스페인어에 대한 교차-언어 의학 비전-언어 사전학습을 통합하고 언어 편향을 줄여 다수의 의학 영상 작업에서 최첨단 결과를 달성한다.

ABSTRACT

The scarcity of data presents a critical obstacle to the efficacy of medical visionlanguage pre-training (VLP). A potential solution lies in the combination of datasets from various language communities. Nevertheless, the main challenge stems from the complexity of integrating diverse syntax and semantics, language-specific medical terminology, and culture-specific implicit knowledge. Therefore, one crucial aspect to consider is the presence of community bias caused by different languages. This paper presents a novel framework named Unifying Cross-Lingual Medical Vision-Language Pre-Training (Med-UniC), designed to integrate multimodal medical data from the two most prevalent languages, English and Spanish. Specifically, we propose Cross-lingual Text Alignment Regularization (CTR) to explicitly unify cross-lingual semantic representations of medical reports originating from diverse language communities. CTR is optimized through latent language disentanglement, rendering our optimization objective to not depend on negative samples, thereby significantly mitigating the bias from determining positive-negative sample pairs within analogous medical reports. Furthermore, it ensures that the cross-lingual representation is not biased toward any specific language community. Med-UniC reaches superior performance across 5 medical image tasks and 10 datasets encompassing over 30 diseases, offering a versatile framework for unifying multi-modal medical data within diverse linguistic communities. The experimental outcomes highlight the presence of community bias in cross-lingual VLP. Reducing this bias enhances the performance not only in vision-language tasks but also in uni-modal visual tasks.

연구 동기 및 목표

• 교차-언어 의료 VLP에서 서로 다른 언어로 인해 발생하는 커뮤니티 편향을 식별하고 정량화한다.
• Cross-lingual Text Alignment Regularization (CTR)로 교차-언어 표현을 통합하기 위한 Med-UniC를 제안한다.
• 다양한 의학 영상 작업 및 데이터셋에서 CTR과 Med-UniC의 효과를 입증한다.
• 언어 편향을 줄이는 것이 교차-모달 및 단일 모달 시각 작업 모두를 향상시킨다는 것을 보여준다.

제안 방법

• 영어와 스페인어로 된 흉부 엑스레이 영상과 함께 제공되는 방사선학 보고서로부터 언어에 의존하지 않는 표현을 학습한다.
• 교차-언어 시각-언어 정렬(CVL), 자기지도 시각 정렬(SSV), 그리고 cross-lingual text alignment regularization (CTR)의 세 가지 동시 정렬 전략을 사용한다.
• 생물의학 LM (CXR-BERT)의 cross-lingual adaptation으로 교차-언어 의료 텍스트 인코딩을 초기화하고 이중언어 어휘를 구축한다.
• 샘플- 및 특징 수준의 상관관계 해소 목표를 통해 언어적 차이를 최소화하기 위해 cross-lingual text alignment regularization (CTR)을 적용한다.
• 전체 손실을 L = L_CVL + L_SSV + L_CTR로 최적화하여 시각 불변성, 시각-텍스트 불변성, 및 텍스트 불변성을 학습한다.
• ] ,
• research_questions:[

실험 결과

연구 질문

• RQ1 언어로 인한 커뮤니티 편향이 시각-언어 및 단일 모달 작업에서 교차-언어 의료 VLP 성능에 영향을 미치는가?
• RQ2 음수 없는 cross-lingual text alignment regularization (CTR)이 교차-언어 표현을 통합하고 언어 편향을 줄일 수 있는가?
• RQ3 Med-UniC가 영어 및 스페인어 의료 데이터에서 제로샷, 선형 분류, 분할 및 탐지 작업에 미치는 영향은 무엇인가?
• RQ4 Med-UniC는 교차-언어 의료 VLP에서 대형 비전 모델과 언어 모델과 어떻게 비교되는가?

주요 결과

• Med-UniC는 교차-언어 의료 VLP에서 언어 기반 커뮤니티 편향을 식별하고 완화한다.
• CTR은 교차-언어 텍스트 표현을 통합하고 잠재 공간의 언어별 클러스터링을 감소시킨다.
• Med-UniC는 영어와 스페인어의 여러 비전-언어 작업 및 데이터셋에서 최첨단 결과를 달성한다.
• Med-UniC는 또한 선형 분류, 분할 및 객체 탐지와 같은 단일 모달 시각 작업의 성능도 향상시킨다.
• 대형 비전 모델과 비교했을 때, ViT 백본을 사용한 Med-UniC는 여러 다운스트림 작업에서 동등하거나 우수한 성능을 보인다.
• CTR은 교차-언어 및 단일 모달 작업 모두에서 상당한 이점을 제공한다는 것을 추출 연구에서 확인했다.