[論文レビュー] Mixture of Cluster-conditional LoRA Experts for Vision-language Instruction Tuning

Yunhao Gou, Zhili Liu+7 more|arXiv (Cornell University)|Dec 19, 2023

Robotics and Automated Systems被引用数 4

ひとこと要約

本稿では、指示のクラスタリングを用いて入力をタスク固有のLoRAエキスパートにルーティングするが、一般化を維持するためのユニバーサルエキスパートを備えた、Mixture of Cluster-conditional LoRA Experts（MoCLE）アーキテクチャを提案する。指示クラスタに基づいて動的に専門的なパラメータを活性化することで、視覚言語指令微調整におけるタスクの衝突を軽減し、12の下流タスクにおいて最先端のゼロショット性能を達成するとともに、専門性と一般化性能の両方を向上させる。

ABSTRACT

Instruction tuning of Large Vision-language Models (LVLMs) has revolutionized the development of versatile models with zero-shot generalization across a wide range of downstream vision-language tasks. However, the diversity of training tasks of different sources and formats would lead to inevitable task conflicts, where different tasks conflict for the same set of model parameters, resulting in sub-optimal instruction-following abilities. To address that, we propose the Mixture of Cluster-conditional LoRA Experts (MoCLE), a novel Mixture of Experts (MoE) architecture designed to activate the task-customized model parameters based on the instruction clusters. A separate universal expert is further incorporated to improve generalization capabilities of MoCLE for novel instructions. Extensive experiments on InstructBLIP and LLaVA demonstrate the effectiveness of MoCLE.

研究の動機と目的

• 多タスク学習における多様で対立するタスクによって引き起こされる負の転送とタスクの衝突を、視覚言語指令微調整の文脈で解消すること。
• 手動のタスク分類体系に代わる、自動的かつスケーラブルなトレーニングデータのパーティショニング戦略を考案すること。
• タスク固有のエキスパートとユニバーサルエキスパートを組み合わせることで、視覚言語モデルにおける専門性と一般化のバランスをとること。
• 指示の意味論に基づくルーティングとパラメータ効率を向上させることで、未学習のタスクに対しても効果的なゼロショット一般化を可能にすること。

提案手法

• 事前学習済みのSentence Transformer（all-MiniLM-L6-v2）とk-meansを用いて、多様な視覚言語データセットからの指示をクラスタリングし、64の指示クラスタを形成する。
• 各エキスパートが指示クラスタに条件付けられたLoRAアダプタであるMixture of Experts（MoE）アーキテクチャを訓練する。これにより、タスク固有のパラメータ更新が可能になる。
• すべてのクラスタに共有されるユニバーサルLoRAエキスパートを統合し、新規またはレアな指示に対しても一般化能力を維持する。
• 各Transformer層にルーター・モジュールを設け、指示埋め込みに基づいて入力トークンを最も関連性の高いクラスタ条件付きエキスパートおよびユニバーサルエキスパートに動的にルーティングする。
• LoRAを用いてInstructBLIPモデルをMoCLEで微調整し、言語モデルを固定したまま、視覚エンコーダーとアダプタのパラメータを効率的に適応させる。
• ホールドアウトされたゼロショットタスクにおけるルーティング意思決定とモデル性能を評価し、タスク固有のルーティングと一般化の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多タスク視覚言語指令微調整におけるタスクの衝突が、ゼロショット下流タスクの性能に悪影響を及えるか？
• RQ2 指示クラスタリングは、手動のタスク分類体系に代わる、効果的で自動的かつスケーラブルなトレーニングデータのパーティショニング手法として有効か？
• RQ3 クラスタ条件付きエキスパートとユニバーサルエキスパートを備えたMoEアーキテクチャは、同時にタスクの専門性と一般化を達成できるか？
• RQ4 多様な視覚言語タスクにおいて、MoCLEは標準的な指令微調整や他のMoEベースラインと比較して、ゼロショット性能で優れているか？

主な発見

• MoCLEは、ホールドアウトされたゼロショットタスクのうち8つのうち5つで標準的な指令微調整を上回り、負の転送の軽減が確認された。
• 画像キャプション（Flickr30K）では、標準的な指令微調整に比べて2.1のBLEU-4向上を達成した。
• 知識ベースVQA（ScienceQA）では、フル微調整ベースラインに比べて4.3%の絶対的な正答率向上を達成した。
• ルーティング解析から、MoCLEはタスクレベルのルーティングを実現していることが確認された：VQAタスクは主にエキスパート0にルーティングされ、キャプションタスクはエキスパート3にルーティングされる。これは、効果的な専門性の実現を示している。
• 対照的に、Sentence-MoLEではタスクとエキスパートの間に明確な相関関係が見られず、ルーティングが不適切で、タスクの衝突が継続していることが示された。
• ユニバーサルエキスパートの導入は不可欠であることが判明した。これを欠如させると、新規またはマルチタスクに影響を受ける指示に対して、性能が著しく低下した。