[論文レビュー] Efficient Multimodal Fusion via Interactive Prompting

Yaowei Li, Ruijie Quan+2 more|arXiv (Cornell University)|Apr 13, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、視覚と言語の両方のエンコーダー間で柔軟かつ双方向のクロスモーダル相互作用を可能にする、メモリ効率の高いマルチモーダル融合手法PMFを提案する。この手法は、深層部のユニモーダルトランスフォーマーに統合されたインタラクティブプロンプトを用い、プロンプトをクエリ、コンテキスト、統合の3種類に分離し、これらの深層ベクトルのみを学習することで、全微調整と同等の性能を達成しながら、トレーニングパラメータの3%未満で実現し、トレーニングメモリ使用量を最大66%まで削減する。

ABSTRACT

Large-scale pre-training has brought unimodal fields such as computer vision and natural language processing to a new era. Following this trend, the size of multi-modal learning models constantly increases, leading to an urgent need to reduce the massive computational cost of finetuning these models for downstream tasks. In this paper, we propose an efficient and flexible multimodal fusion method, namely PMF, tailored for fusing unimodally pre-trained transformers. Specifically, we first present a modular multimodal fusion framework that exhibits high flexibility and facilitates mutual interactions among different modalities. In addition, we disentangle vanilla prompts into three types in order to learn different optimizing objectives for multimodal learning. It is also worth noting that we propose to add prompt vectors only on the deep layers of the unimodal transformers, thus significantly reducing the training memory usage. Experiment results show that our proposed method achieves comparable performance to several other multimodal finetuning methods with less than 3% trainable parameters and up to 66% saving of training memory usage.

研究の動機と目的

• 大規模マルチモーダルモデルの下流タスクへの微調整にかかる高い計算コストとメモリコストを軽減すること。
• 従来のプロンプトチューニング手法には、モデル全体の深さで勾配計算が行われるため、パrameterの更新は減るが、メモリ使用量の顕著な削減が難しいという限界を克服すること。
• ペア化されたマルチモーダルデータを必要とせずに、視覚と言語エンコーダー間で双方向かつ柔軟なクロスモーダル相互作用を可能にすること。
• ユニモーダルトランスフォーマーの深層部に限定してプロンプトの更新を制限することで、トレーニング中のメモリ消費量を低減すること。
• ユニモーダルエンコーダーの交換が容易で、追加のモダリティへの拡張性を備えたモジュラーなフレームワークの開発

提案手法

• 視覚と言語エンコーダーが独立して動作し、クロスアテンションに類似したメカニズムで相互作用する二ストリームで並列なモジュラー融合フレームワークを提案する。
• クエリプロンプト、クエリコンテキストプロンプト、統合コンテキストプロンプトの3種類のインタラクティブプロンプトを導入し、それぞれがクロスモーダル情報交換において異なる役割を果たす。
• 非線形マッピング関数を用いて、一方のモダリティからの「回答」を他方のモダリティに変換することで、動的でコンテキストに適応したモダリティ間の相互作用を実現する。
• プロンプトベクトルをユニモーダルトランスフォーマーの深層部（例：L-2）に限定することで、逆伝播の深さを短縮し、勾配のメモリ使用量を最小限に抑える。
• プラグアンドプレイ式のモジュラー設計を採用し、ユニモーダルエンコーダー（例：BERT、T5、ViT）の交換が容易であり、新たなモダリティへの統合も可能である。
• 性能向上を図るため、最適な統合層とプロンプト長を自動的に同定する神経アーキテクチャ探索（NAS）を適用する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトベースの手法が、トレーニングメモリ使用量を大幅に削減しながら、全微調整と同等の性能を達成できるか？
• RQ2 ユニモーダルトランスフォーマーの深層部に限定してプロンプトの更新を制限することで、メモリ効率とモデル性能にどのような影響を与えるか？
• RQ3 双方向でインタラクティブなプロンプトメカニズムは、マルチモーダルモデルにおける片方向のアライメントを超えて、クロスモーダル理解を向上させられるか？
• RQ4 PMFのモジュラー設計は、柔軟なモデル交換とマルチモーダル拡張をどの程度可能にするか？
• RQ5 自動的なハイパーパramータ探索（例：NAS）は、多様な視覚・言語ベンチマークにおいてPMFの性能を向上させるか？

主な発見

• PMFは、全微調整ベースラインと比較して最大66%、プロンプトベース手法と比較して55%のトレーニングメモリ使用量を削減し、同時にトレーニング可能なパラメータは3%未満で実現した。
• MM-IMDB、SNLI-VE、UPMC-Food101の3つのベンチマークデータセットにおいて、PMFは競争力のある性能を達成した。MM-IMDBではF1-Macroスコア61.66、SNLI-VEでは正解率59.67%を記録した。
• BERT-large や ViT-large などの大規模ユニモーダルエンコーダーを用いても、性能は維持され、メモリ使用量の増加はわずか（12.84GB から 18.44GB に増加）であった。
• プロンプト長のアブレーション実験では、M=16が最適な性能を示した。M=32に延長しても性能は低下するが、M=1からM=16に比べてメモリコストはわずかに増加（約1GB）にとどまった。
• NAS最適化済みPMF（PMF-NAS）は、3つのデータセットすべてで標準PMFよりも優れた性能を示し、ハイパーパramータ構成の自動探索の価値を裏付けた。
• 統合層の位置（例：L-2）が、プロンプト長よりもメモリ使用量に大きな影響を与えることが判明し、深層部でのプロンプトの使用が、メモリ削減に有効であることを確認した。