[論文レビュー] Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks

Xizhou Zhu, Jinguo Zhu+6 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 8

ひとこと要約

Uni-Perceiver は、一貫したシアンセス型トランスフォーマー符号化器を用いて、多様なモダリティと認識タスクを統合的に処理するパラメータ共有アーキテクチャを提案する。すべてのタスクを共有表現空間内での類似度ベースの検索としてモデル化し、単一のモデルで多様なタスクを処理する。マルチモダリティおよびユニモダリティタスクで事前学習することで、未学習のタスクに対してもゼロショット性能を達成し、プロンプトチューニングによりたった1%のファインチューニングデータでSOTA水準の結果を達成する。

ABSTRACT

Biological intelligence systems of animals perceive the world by integrating information in different modalities and processing simultaneously for various tasks. In contrast, current machine learning research follows a task-specific paradigm, leading to inefficient collaboration between tasks and high marginal costs of developing perception models for new tasks. In this paper, we present a generic perception architecture named Uni-Perceiver, which processes a variety of modalities and tasks with unified modeling and shared parameters. Specifically, Uni-Perceiver encodes different task inputs and targets from arbitrary modalities into a unified representation space with a modality-agnostic Transformer encoder and lightweight modality-specific tokenizers. Different perception tasks are modeled as the same formulation, that is, finding the maximum likelihood target for each input through the similarity of their representations. The model is pre-trained on several uni-modal and multi-modal tasks, and evaluated on a variety of downstream tasks, including novel tasks that did not appear in the pre-training stage. Results show that our pre-trained model without any tuning can achieve reasonable performance even on novel tasks. The performance can be improved to a level close to state-of-the-art methods by conducting prompt tuning on 1% of downstream task data. Full-data fine-tuning further delivers results on par with or better than state-of-the-art results. Code shall be released.

研究の動機と目的

• 機械学習におけるタスク特化型認識モデルの非効率性と高い限界コストを是正すること。
• 一貫したアーキテクチャとパラメータ共有により、多様なモダリティとタスクを統合して汎用的認識を実現すること。
• 事前学習中に見られなかった新しいタスクに対するゼロショット推論を可能にすること。
• 最小限のラベル付きデータで効果的なプロンプトチューニングを可能にすることで、下流のファインチューニングコストを低減すること。
• タスク間で事前学習と推論の定式化を一致させることで、知識の転送を向上させること。

提案手法

• 画像、テキスト、動画などの任意のモダリティからの入力とターゲットを、軽量でモダリティ固有のトークナイザーを用いて統一されたトークン系列に変換する。
• すべてのトークン系列をモダリティに依存しないトランスフォーマー符号化器で処理し、統一された空間内に共有表現を生成する。
• すべての認識タスクを類似度ベースの検索としてモデル化する：入力表現と類似度が最大となるターゲットを検索する。
• ユニモダリティタスク（例：画像分類、言語モデリング）とマルチモダリティタスク（例：画像・テキスト検索）の組み合わせを用いてモデルを事前学習する。
• ファインチューニングなしで直接入力と候補ターゲット間の類似度を計算することで、ゼロショット推論を可能にする。
• 下流データのたった1%を用いたプロンプトチューニングにより、VQA や GLUE のようなタスクでSOTAに近い性能を達成し、完全なファインチューニングで最先端の結果を達成する。

Figure 1 : Comparing previous task-specific perception models with our proposed Uni-Perceiver, which processes various modalities and tasks with a single siamese model and shared parameters.

実験結果

リサーチクエスチョン

• RQ1 パラメータを共有する統合アーキテクチャは、多様な認識タスクおよびモダリティにわたってゼロショット一般化を達成できるか？
• RQ2 多様な認識タスクに対して、類似度ベースの表現マッチングは効果的な統合定式化となるか？
• RQ3 最小限のデータでプロンプトチューニングを適用することで、未学習のタスクにおけるゼロショット性能はどの程度向上するか？
• RQ4 1つの事前学習済みモデルが、最小限の適応でタスク特化型モデルを上回る性能を発揮できるか？
• RQ5 複数のベンチマークおよびモダリティにおいて、統合モデルの性能はSOTA手法と比べてどの程度か？

主な発見

• 事前学習時に含まれなかったタスク、たとえば動画キャプション、動画・テキスト検索、視覚的質問応答（VQA）などに対しても、Uni-Perceiver は合理的なゼロショット性能を達成している。
• 下流データの1%を用いたプロンプトチューニングにより、VQA や GLUE のようなタスクでSOTAに近い性能が向上した。
• 100%の下流データを用いた完全なファインチューニングにより、GLUE や VQA のベンチマークでSOTA手法と同等またはそれ以上の結果を達成した。
• GLUEベンチマークでは、ゼロショット評価で81.7%の正確度を達成し、ファインチューニング済み BERT BASE の84.6%と同等の水準であった。
• モデルは、1%のデータでプロンプトチューニングを行うことで、強力なフェイントショット一般化を示しており、MNLI では60.1%の正確度、QNLI では70.2%のF1スコアを達成し、SOTAに近い結果を出した。
• BERT BASE と同等のパラメータ数であるにもかかわらず、完全なファインチューニングではわずかに性能が劣っているが、これはより広範なマルチタスクおよびマルチモダリティの事前学習による制約のためとされる。

Figure 2 : Overview of our unified architecture for generic perception. Different task inputs and targets from arbitrary modalities are converted into unified token sequences with modality-specific tokenizers. A modality-agnostic weight-sharing Transformer encoder is then applied to encode these tok