[論文レビュー] Qilin-Med-VL: Towards Chinese Large Vision-Language Model for General Healthcare

Junling Liu, Ziming Wang+4 more|arXiv (Cornell University)|Oct 27, 2023

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

Qilin-Med-VLは、ViT画像エンコーダと中国語LLMを組み合わせた初の中国語医療ビジョン言語モデルであり、ChiMed-VLを用いた2段階カリキュラムで視覚-文本と指示追従能力を一般的な医療タスクに合わせて学習させた。

ABSTRACT

Large Language Models (LLMs) have introduced a new era of proficiency in comprehending complex healthcare and biomedical topics. However, there is a noticeable lack of models in languages other than English and models that can interpret multi-modal input, which is crucial for global healthcare accessibility. In response, this study introduces Qilin-Med-VL, the first Chinese large vision-language model designed to integrate the analysis of textual and visual data. Qilin-Med-VL combines a pre-trained Vision Transformer (ViT) with a foundational LLM. It undergoes a thorough two-stage curriculum training process that includes feature alignment and instruction tuning. This method enhances the model's ability to generate medical captions and answer complex medical queries. We also release ChiMed-VL, a dataset consisting of more than 1M image-text pairs. This dataset has been carefully curated to enable detailed and comprehensive interpretation of medical data using various types of images.

研究の動機と目的

• 医療AIにおける言語・モダリティの障壁を解消する中国語の医療ビジョン言語モデルを構築する。
• ChiMed-VLを作成し、整合と指示調整のための大規模な中国語医療モ multimodalデータセットを用意する。
• 医療ビジョン言語機能を強化するための2段階カリキュラム（特徴整合と指示チューニング）を開発する。
• 医療ビジョン言語タスクおよびVQAデータセットでQilin-Med-VLをベースラインと比較評価する。

提案手法

• アーキテクチャは中国語-LLaMA2-13B-Chatを基盤LLM、事前学習済みのViT画像エンコーダ、およびビジョン言語特徴アダプタを組み合わせる。
• 2段階カリキュラム訓練：（1）画像-captionタスクを用いた視覚-言語特徴整合（エンコーダとアダプタを凍結）、（2）画像クエスチョンアンサー datを用いた指示チューニング（画像エンコーダを凍結） 。
• ChiMed-VLのデータセット構築は2つのサブセット：整合（580,014 image-textペア）と指示チューニング（469,441 QAペア）。
• データをGPT-3.5で中国語化し品質管理を行い、その後、複数画像入力を連結してダイアログプロンプト形式に整形する前処理を実施。
• 実装は8x A100 GPUを使用；各段階の訓練のバッチサイズと学習率が含まれる。

実験結果

リサーチクエスチョン

• RQ1 中国の医療提供モダリティを含む多様な医療画像に対応できる中国語の医療ビジョン言語モデルをどのように効果的に構築できるか？
• RQ2 2段階のカリキュラム（整合と指示チューニング）は中国語VLモデルの医療VQAとキャプショニングを改善できるか？
• RQ3 中国語医療VLデータセット（ChiMed-VL）がモデルの整合と指示追従能力に与える影響は？
• RQ4 Qilin-Med-VLは視覚的医療タスクにおいて英語中心または中国語の医療ベースラインと比較してどうか？

主な発見

• Qilin-Med-VLは画像診断におけるVQAタスクと超音波、X線、MRIのケースを横断したいくつかのベースラインに対して競争力のある性能を示す。
• ケース分析で一部のベースラインと比較して病変の正確な局在化に長けている。
• ChiMed-VLは整合のために580k超のimage-textペア、指示チューニングのために469kのQAペアを提供し、中国語での多モーダル医療解釈を可能にする。
• 2段階カリキュラムは事前学習済みの画像エンコーダを更新せずに、視覚-言語の整合と指示追従能力を向上させる。
• このアプローチは一般的な医療分野における中国語VLモデルの実現可能性と有益性を示し、言語とモダリティの包摂性に寄与する。