[論文レビュー] data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language

Alexei Baevski, Wei-Ning Hsu+4 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 240

ひとこと要約

data2vec は、教師-学生 Transformer 構成を用いて、マスクされた入力から文脈化された潜在表現を予測することにより、音声、視覚、言語を横断する自己監視学習を統合し、ベンチマーク全体で競争力のあるまたは最先端の結果を達成します。

ABSTRACT

While the general idea of self-supervised learning is identical across modalities, the actual algorithms and objectives differ widely because they were developed with a single modality in mind. To get us closer to general self-supervised learning, we present data2vec, a framework that uses the same learning method for either speech, NLP or computer vision. The core idea is to predict latent representations of the full input data based on a masked view of the input in a self-distillation setup using a standard Transformer architecture. Instead of predicting modality-specific targets such as words, visual tokens or units of human speech which are local in nature, data2vec predicts contextualized latent representations that contain information from the entire input. Experiments on the major benchmarks of speech recognition, image classification, and natural language understanding demonstrate a new state of the art or competitive performance to predominant approaches.

研究の動機と目的

• 複数のモダリティ（音声、視覚、言語）に適用可能な単一の自己監視学習フレームワークの動機付け。
• 固定された局所ターゲットではなく、文脈化された潜在表現を対象とするマスキングベースの予測タスクを開発する。
• 複数の教師層からの平均化された潜在表現を予測することが、モダリティ横断の性能を向上させることを示す。
• 視覚（ImageNet）、音声（ASR）、NLP（GLUE）の主要ベンチマークで最先端または競争力のある結果を示す。
• ターゲット層の重ね方、文脈、モダリティ固有の設計選択が性能に及ぼす影響についての洞察を提供する。

提案手法

• 教師モードと学生モードで動作する標準的な Transformer アーキテクチャを使用する；教師は学生のEMAである。
• 教師を用いて全入力表現をターゲットとしてエンコードする；学生を用いてマスクされた入力をエンコードし、それらのターゲットを予測する。
• マスクされた時刻のトップKの教師ブロックから正規化された表現を平均してターゲットを構築する。
• マスクされた予測から文脈化されたターゲットを回帰するために滑らかL1損失で訓練する。
• 各モダリティに合わせてモダリティ固有の入力エンコーダとマスキング戦略を採用する（視覚パッチ、音声スパン、単語/サブワードマスキング）。
• ImageNet、Librispeech、GLUE風ベンチマークを横断して2つのモデルサイズ（Baseと Large）を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の自己監視学習目的は、モダリティ固有のターゲットなしで、視覚、音声、言語を横断して有効であり得るか。
• RQ2 文脈化された潜在ターゲットと複数層のターゲット平均化は、モダリティ横断の下流性能を向上させるか。
• RQ3 文脈サイズとターゲット特徴選択は、学習および下流タスクへの転移にどのように影響するか。
• RQ4 data2vec アプローチは、各モダリティの標準ベンチマークで最先端または競争力のある結果をもたらすか。

主な発見

• Data2vec は、視覚、音声、言語の主要ベンチマークで競争力のまたは最先端の結果を達成します。
• 文脈化された潜在表現を予測し、複数の教師層を平均化することは、単一のトップレイヤー表現を予測するよりも、すべてのモダリティで下流の精度を向上させる傾向がある。
• 文脈化ターゲットは最良の性能のために完全な入力文脈を必要とする；教師の文脈を制限すると結果が低下する。
• ターゲットとして FFN 出力を使用する（自己注意出力ではなく）方が、音声事前学習でより良い性能を示す傾向がある。
• 統一フレームワークは、NLPで離散的ターゲットトークン（例：語、視覚トークン）に依存せずに高い性能を可能にし、視覚と音声でも堅牢な結果を提供する。