[論文レビュー] DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis

Along He, Kai Wang+3 more|arXiv (Cornell University)|Jul 19, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、医療画像解析における大規模事前学習済み視覚モデル向けに、パrameter効率の良い微調整手法DVPTを提案する。学習可能で動的な視覚プロンプトを導入し、固定されたドメイン変換特徴量に適応的にアテンションを適用することで、モデル全体の0.5%のパラメータのみを微調整する状態で最先端の性能を達成し、カッパスコアで完全微調整を2.20%以上上回り、ラベル付きデータの必要量を最大60%まで削減する。

ABSTRACT

Limited labeled data makes it hard to train models from scratch in medical domain, and an important paradigm is pre-training and then fine-tuning. Large pre-trained models contain rich representations, which can be adapted to downstream medical tasks. However, existing methods either tune all the parameters or the task-specific layers of the pre-trained models, ignoring the input variations of medical images, and thus they are not efficient or effective. In this work, we aim to study parameter-efficient fine-tuning (PEFT) for medical image analysis, and propose a dynamic visual prompt tuning method, named DVPT. It can extract knowledge beneficial to downstream tasks from large models with a few trainable parameters. Firstly, the frozen features are transformed by an lightweight bottleneck layer to learn the domain-specific distribution of downstream medical tasks, and then a few learnable visual prompts are used as dynamic queries and then conduct cross-attention with the transformed features, attempting to acquire sample-specific knowledge that are suitable for each sample. Finally, the features are projected to original feature dimension and aggregated with the frozen features. This DVPT module can be shared between different Transformer layers, further reducing the trainable parameters. To validate DVPT, we conduct extensive experiments with different pre-trained models on medical classification and segmentation tasks. We find such PEFT method can not only efficiently adapt the pre-trained models to the medical domain, but also brings data efficiency with partial labeled data. For example, with 0.5\% extra trainable parameters, our method not only outperforms state-of-the-art PEFT methods, even surpasses the full fine-tuning by more than 2.20\% Kappa score on medical classification task. It can saves up to 60\% labeled data and 99\% storage cost of ViT-B/16.

研究の動機と目的

• 大規模事前学習済みモデルの微調整におけるラベル付き医療データの限界を解決すること。
• 医療画像の複雑なテクスチャやスケール変動に適応できない静的プロンプトチューニング手法の限界を克服すること。
• ドメイン一般の知識を保持しつつ、サンプル固有でタスク固有の表現を学習できるパrameter効率の良い手法を開発すること。
• 最小限の微調整可能パラメータと低い計算コスト・ストレージコストで、低データ環境下でも高い性能を達成すること。

提案手法

• 軽量なボトルネック層を適用し、固定された特徴量を医療タスクに適したドメイン固有の分布をよりよく捉えるように変換する。
• 学習可能な視覚プロンプトを動的クエリとして導入し、変換された特徴量とクロスアテンションを実行することで、サンプル固有の表現を生成する。
• アテンションを適用した特徴量を元の次元に戻し、固定された特徴量と連結することで、事前学習済みの知識を保持する。
• DVPTモジュールを複数のTransformer層に共有することで、微調整可能パラメータの数を最小限に抑える。
• 事前学習バックボーンを固定したまま、DVPTモジュールとタスク固有の層のみを微調整する。
• プロンプト数と共有層数を調整することで、モデル容量を制御する。

実験結果

リサーチクエスチョン

• RQ1 動的な視覚プロンプトチューニングは、最小限の微調整可能パラメータで医療画像分類およびセグメンテーションの性能を向上させることができるか？
• RQ2 DVPTは完全微調整および他のパrameter効率の良い手法と比較して、精度とデータ効率の面でどのように差をつけるか？
• RQ3 DVPTは医療画像解析タスクにおけるラベル付きデータの必要量をどの程度削減できるか？
• RQ4 プロンプトの動的性質は、医療画像における複雑なテクスチャやスケール変動への適応を向上させるか？
• RQ5 実運用環境において、DVPTはパラメータ効率、計算コスト、ストレージオーバーヘッドのバランスをどのようにとるか？

主な発見

• DVPTは、医療分類タスクにおいて、SOTAパrameter効率の良い微調整手法をカッパスコアで2.20%以上上回り、モデル全体の0.5%のパラメータのみを微調整する状態で完全微調整をも凌駆する。
• ラベル付きデータの40%のみで、完全微調整が100%のデータで達成する性能に匹敵する結果を得ており、アノテーションの必要量を60%削減できる。
• ViT-B/16では、完全微調整と比較してストレージコストを最大99%まで削減し、トレーニングメモリも最大10.22%節約する。
• 性能とモデル効率の最良のトレードオフを達成しており、FLOPsの増加は無視できるほどで、セグメンテーションタスクでは優れたDiceスコアとIoUスコアを達成する。
• 50個のプロンプトで最適な性能が得られ、それ以上の数では最適化の難易度が増すが、性能の向上は得られない。
• DVPTモジュールは複数のTransformer層に共有可能であり、微調整可能パラメータの数を顕著に削減しながらも、高い性能を維持できる。