[論文レビュー] Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias

Zhongwei Wan, Che Liu+7 more|arXiv (Cornell University)|May 31, 2023

Multimodal Machine Learning Applications被引用数 30

ひとこと要約

Med-UniCは Cross-lingual Text Alignment Regularization を導入することで英語とスペイン語の跨言語医療ビジョン-言語事前学習を統合し、言語バイアスを低減し、複数の医療画像タスクで最先端の結果を達成します。

ABSTRACT

The scarcity of data presents a critical obstacle to the efficacy of medical visionlanguage pre-training (VLP). A potential solution lies in the combination of datasets from various language communities. Nevertheless, the main challenge stems from the complexity of integrating diverse syntax and semantics, language-specific medical terminology, and culture-specific implicit knowledge. Therefore, one crucial aspect to consider is the presence of community bias caused by different languages. This paper presents a novel framework named Unifying Cross-Lingual Medical Vision-Language Pre-Training (Med-UniC), designed to integrate multimodal medical data from the two most prevalent languages, English and Spanish. Specifically, we propose Cross-lingual Text Alignment Regularization (CTR) to explicitly unify cross-lingual semantic representations of medical reports originating from diverse language communities. CTR is optimized through latent language disentanglement, rendering our optimization objective to not depend on negative samples, thereby significantly mitigating the bias from determining positive-negative sample pairs within analogous medical reports. Furthermore, it ensures that the cross-lingual representation is not biased toward any specific language community. Med-UniC reaches superior performance across 5 medical image tasks and 10 datasets encompassing over 30 diseases, offering a versatile framework for unifying multi-modal medical data within diverse linguistic communities. The experimental outcomes highlight the presence of community bias in cross-lingual VLP. Reducing this bias enhances the performance not only in vision-language tasks but also in uni-modal visual tasks.

研究の動機と目的

• 跨言語医療VLPにおいて異なる言語に起因するコミュニティバイアスを特定・定量化する。
• Cross-lingual Text Alignment Regularization (CTR) を用いて跨言語表現を統一する Med-UniC を提案する。
• CTR と Med-UniC の有効性を多様な医療画像タスクとデータセットで実証する。
• 言語バイアスを低減させることがクロスモーダルおよび単一モーダルの視覚タスクの双方の性能向上につながることを示す。

提案手法

• 胸部X線画像と英語・スペイン語のペア化放射線レポートから言語不変表現を学習する。
• 3つの同時整列戦略を用いる：跨言語ビジョン-言語整列 (CVL)、自己教師あり視覚整列 (SSV)、および跨言語テキスト整列正則化 (CTR)。
• 跨言語医療テキストエンコーディングを生物医学LMの跨言語適応版（CXR-BERT）で初期化し、二言語語彙を構築する。
• 跨言語テキスト整列正則化（CTR）を適用して、サンプルレベルおよび特徴レベルの相関排除目的で言語的差異を最小化する。
• 全体の損失を L = L_CVL + L_SSV + L_CTR として最適化し、視覚的不変量、視覚-テキスト不変量、テキスト不変量を学習する。
• ] ,
• research_questions: [

実験結果

リサーチクエスチョン

• RQ1 言語によるコミュニティバイアスは、視覚-言語と単一モーダルタスクにおける跨言語医療VLPの性能に影響を与えるか？
• RQ2 負の影響のない跨言語テキスト整列正則化（CTR）は跨言語表現を統一し言語バイアスを低減できるか？
• RQ3 英語とスペイン語の医療データ全体で、ゼロショット、線形分類、セグメンテーション、検出タスクにおけるMed-UniCの影響は？
• RQ4 クロス言語医療VLPにおいて、Med-UniCは大規模ビジョモデルや言語モデルとどう比較されるか？

主な発見

• Med-UniCは跨言語医療VLPにおける言語ベースのコミュニティバイアスを特定・緩和する。
• CTRは跨言語テキスト表現を統一し、潜在空間の言語特有のクラスタリングを低減する。
• Med-UniCは英語およびスペイン語の複数の視覚-言語タスクとデータセットで最先端の結果を達成する。
• Med-UniCは線形分類、セグメンテーション、物体検出などの単一モーダル視覚タスクの性能も向上させる。
• 大規模ビジョモデルと比較して、Med-UniCはViTバックボーンを用いる場合いくつかの下流タスクで同等以上の性能に達する。
• CTRは跨言語および単一モーダルタスクの両方で重要な改善をもたらすことが、アブレーション研究で示されている。