[論文レビュー] ASIF: Coupled Data Turns Unimodal Models to Multimodal Without Training

Antonio Norelli, Marco Fumero+4 more|arXiv (Cornell University)|Oct 4, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

ASIFは、2つの事前学習済み単モodalエンコーダー（画像およびテキスト）と少数の画像-テキストペアを用いて、訓練なしでマルチモーダルモデルを構築する非パrametric手法を導入する。入力を正例ペアとの類似度として表現することで、250倍少ないデータでCLIP や LiT と同等のゼロショット分類性能を達成するとともに、即時のモデル更新と完全に解釈可能な表現を可能にする。

ABSTRACT

CLIP proved that aligning visual and language spaces is key to solving many vision tasks without explicit training, but required to train image and text encoders from scratch on a huge dataset. LiT improved this by only training the text encoder and using a pre-trained vision network. In this paper, we show that a common space can be created without any training at all, using single-domain encoders (trained with or without supervision) and a much smaller amount of image-text pairs. Furthermore, our model has unique properties. Most notably, deploying a new version with updated training samples can be done in a matter of seconds. Additionally, the representations in the common space are easily interpretable as every dimension corresponds to the similarity of the input to a unique image-text pair in the multimodal dataset. Experiments on standard zero-shot visual benchmarks demonstrate the typical transfer ability of image-text models. Overall, our method represents a simple yet surprisingly strong baseline for foundation multimodal models, raising important questions on their data efficiency and on the role of retrieval in machine learning.

研究の動機と目的

• マルチモーダルデータの微調整や訓練なしに、マルチモーダルアライメントを実現する手法を開発すること。
• 新しい画像-テキストペアの追加や削除によって即座に更新可能な、編集が容易なモデルを構築すること。
• 各次元が特定の訓練ペアとの類似度に対応する、解釈可能な表現を生成すること。
• パラメータベースの蒸留ではなく、検索に類似したメカニズムを活用することで、基礎モデルにおけるデータ効率を著しく向上できるかどうかを調査すること。
• 重みの更新による学習が必須であるという仮定に挑戦し、記憶ベースのアライメントが強力な性能を達成できることを示すこと。

提案手法

• ASIFは、微調整なしに固定された2つの事前学習済み単モダルドエンコーダー（画像およびテキスト）を用いる。
• 各画像-テキストペアを固定次元のベクトルにエンコードすることで共通の埋め込み空間を構築し、ペaired埋め込みのデータベースを形成する。
• 入力画像またはテキストは、データセットに格納されたすべての保存済み画像-テキストペアとの類似度のベクトルとしてエンコードされる。
• その結果得られる表現は、非パラメトリックで検索に類似した共有空間への投影であり、各次元が特定の正例ペアとの類似度に対応する。
• モデルの更新は、新しいペアや古くなったペアの埋め込みを単に追加または削除することで達成され、数秒でデプロイ可能である。
• この手法の直感的根拠は、意味的に類似した画像は類似したキャプションを持つため、ペア例との類似度がマルチモーダルアライメントを捉えることにある。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単モダルドエンコーダーと少数の画像-テキストペアのみを用いて、訓練なしにマルチモーダルモデルを構築できるか？
• RQ2 非パラメトリックで記憶ベースのアプローチが、CLIP や LiT のようなエンドツーエンド訓練済みモデルとどの程度性能を比較できるか？
• RQ3 学習されたパラメータではなく検索ベースのメカニズムを用いる場合、表現の解釈可能性と編集可能性はどのように変化するか？
• RQ4 学習が埋め込みペアの記憶に置き換えられる場合、データスケールが性能に与える影響は何か？
• RQ5 パrameterチューニングが存在しないことで、実際の運用においてモデルがより透明で制御可能になるか？

主な発見

• ASIFは、160万枚の画像-テキストペア（先行手法の最大250倍少ない）を用いても、標準ベンチマークでCLIP や LiT と同等のゼロショット画像分類精度を達成する。
• 新しいデータでモデルを更新するには、新しいペアをエンコードして埋め込みデータベースに追加するだけでよく、数秒で完了する。
• 得られた表現の各次元が、入力と特定の訓練ペアとの類似度に対応しているため、表現は非常に解釈可能である。
• この手法は、パrameterの更新なしに効果的なマルチモーダルアライメントを達成できることを示しており、強力な性能を発揮するためにはエンドツーエンド訓練が必要であるという仮定に疑問を呈する。
• ASIFの性能は、マルチモーダルデータセットの質とカバレッジに強く依存しており、意味的アライメントがデータ分布に敏感である可能性を示唆している。
• 単純であるにもかかわらず、ASIFは先行する非パラメトリックベースラインを上回り、大規模なマルチモーダル事前学習の強力でデータ効率的かつ編集可能な代替手段を確立している。