[論文レビュー] Foundation Model is Efficient Multimodal Multitask Model Selector

Fanqing Meng, Wenqi Shao+5 more|arXiv (Cornell University)|Aug 11, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、多様なラベル形式（例：カテゴリ、テキスト、バウンディングボックス）を統一されたノイズのあるラベル埋め込みに変換する基礎モデルを用いて、マルチモodalなタスク間で高速かつ正確な移行性推定を可能にする、効率的なマルチタスクモデルセレクタEMMSを提案する。EMMSは、重み付き線形回帰を用いて、LogMEと比較して最高で54.8%高いランク付け精度と6.29倍速い推論速度を達成しており、タスク固有の事前知識を必要とせずにマルチモダリティ・マルチタスク環境に一般化可能な最初の手法である。

ABSTRACT

This paper investigates an under-explored but important problem: given a collection of pre-trained neural networks, predicting their performance on each multi-modal task without fine-tuning them, such as image recognition, referring, captioning, visual question answering, and text question answering. A brute-force approach is to finetune all models on all target datasets, bringing high computational costs. Although recent-advanced approaches employed lightweight metrics to measure models' transferability,they often depend heavily on the prior knowledge of a single task, making them inapplicable in a multi-modal multi-task scenario. To tackle this issue, we propose an efficient multi-task model selector (EMMS), which employs large-scale foundation models to transform diverse label formats such as categories, texts, and bounding boxes of different downstream tasks into a unified noisy label embedding. EMMS can estimate a model's transferability through a simple weighted linear regression, which can be efficiently solved by an alternating minimization algorithm with a convergence guarantee. Extensive experiments on 5 downstream tasks with 24 datasets show that EMMS is fast, effective, and generic enough to assess the transferability of pre-trained models, making it the first model selection method in the multi-task scenario. For instance, compared with the state-of-the-art method LogME enhanced by our label embeddings, EMMS achieves 9.0\%, 26.3\%, 20.1\%, 54.8\%, 12.2\% performance gain on image recognition, referring, captioning, visual question answering, and text question answering, while bringing 5.13x, 6.29x, 3.59x, 6.19x, and 5.66x speedup in wall-clock time, respectively. The code is available at https://github.com/OpenGVLab/Multitask-Model-Selector.

研究の動機と目的

• 微調整を伴わせずに、複数のマルチモーダルタスクに対して最適な事前学習モデルを効率的に選択する課題に対処すること。
• タスク固有の事前知識に依存する既存の移行性メトリクスの限界を克服し、マルチモーダルかつマルチタスク環境でも有効に機能するようにすること。
• 異種のラベル形式（例：テキスト、カテゴリ、バウンディングボックス）を有する多様な下流タスクに対して、汎用的で高速かつ正確なモデル移行性の評価手法を開発すること。
• 基礎モデルを用いてラベルを統一された埋め込み空間に変換することで、効率的なモデル選択を可能にすること。

提案手法

• EMMSは、大規模な基礎モデル（例：CLIP、GPT-2）を用いて、カテゴリ、テキスト記述、バウンディングボックスなど、多様な下流タスクのラベルを共有される統一された埋め込み空間に埋め込む。
• 得られた埋め込みをノイズの多いオラクルとみなして、移行性推定を重み付き最小二乗回帰（WLSR）問題として定式化する。
• 理論的収束保証を備えた交互最小化アルゴリズムによりWLSRを解き、効率的な最適化を実現する。
• 本手法は汎用的かつスケーラブルに設計されており、タスク固有のアーキテクチャ変更を必要としない。
• 基礎モデルの豊富な意味的表現を活用し、ワンホット符号化や実数値符号化を超えた複雑なラベル意味を捉える。
• エンドツーエンド微分可能であり、バッチ処理をサポートしており、複数のモデルとタスクで高速な推論を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 テキスト、カテゴリ、バウンディングボックスなどの多様なラベル形式の統一表現は、マルチモーダルタスク間での移行性推定を改善できるか？
• RQ2 EMMSは、LogME や TransRate といった既存のメトリクスと比較して、複数の下流タスクにおいて精度と効率の点でどの程度優れているか？
• RQ3 従来のラベル符号化手法と比較して、基礎モデルから得られるラベル埋め込みを用いることで、モデル選択性能はどの程度向上するか？
• RQ4 提案されたWLSR用の交互最小化アルゴリズムは、実際の応用において収束保証があり、効率的か？
• RQ5 タスク固有の適応なしに、広範なマルチモーダルタスクに効果的に一般化できるか？

主な発見

• EMMSは、画像認識、リファリング、キャプション生成、視覚的質問応答、テキスト質問応答の各タスクで、LogMEと比較してそれぞれ9.0%、26.3%、20.1%、54.8%、12.2%の性能向上を達成した。
• 同じタスクで、壁時計推論時間を5.13倍、6.29倍、3.59倍、6.19倍、5.66倍に短縮し、顕著な高速化を実現した。
• Sun397データセットでは、計算複雑度がより高いにもかかわらず、T=1（収束しない）のLogMEと比較して、重み付きケンダールのtauで0.082高い性能を示した。
• EMMSは、K=1およびK=3のFラベルを用いたTransRateと比較して、常に優れた性能を発揮し、画像分類タスクで平均して重み付きケンダールのtauが0.082高い結果を得た。
• 交互最小化アルゴリズムは信頼性があり、効率的に収束し、24のデータセットおよび5つの下流タスクで高速なモデル選択を可能にした。
• EMMSは、タスク固有の事前知識に依存せず、マルチモーダルかつマルチタスク環境において効果的で汎用的かつ効率的なモデル選択を可能にする最初の手法である。