[論文レビュー] Position Prediction as an Effective Pretraining Strategy

Shuangfei Zhai, Navdeep Jaitly+8 more|arXiv (Cornell University)|Jul 15, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、位置埋め込みを用いずに、画像または音声のパッチの内容からその位置を予測するようにモデルを訓練する、トランスフォーマー向けの新しい自己教師あり事前学習手法MP3（Masked Patch Position Prediction）を提案する。この手法は、最先端の自己教師あり手法と同等の性能を達成し、位置埋め込みを含まないモデルが、視覚および音声のベンチマークで教師ありベースラインを上回ることを示している。

ABSTRACT

Transformers have gained increasing popularity in a wide range of applications, including Natural Language Processing (NLP), Computer Vision and Speech Recognition, because of their powerful representational capacity. However, harnessing this representational capacity effectively requires a large amount of data, strong regularization, or both, to mitigate overfitting. Recently, the power of the Transformer has been unlocked by self-supervised pretraining strategies based on masked autoencoders which rely on reconstructing masked inputs, directly, or contrastively from unmasked content. This pretraining strategy which has been used in BERT models in NLP, Wav2Vec models in Speech and, recently, in MAE models in Vision, forces the model to learn about relationships between the content in different parts of the input using autoencoding related objectives. In this paper, we propose a novel, but surprisingly simple alternative to content reconstruction~-- that of predicting locations from content, without providing positional information for it. Doing so requires the Transformer to understand the positional relationships between different parts of the input, from their content alone. This amounts to an efficient implementation where the pretext task is a classification problem among all possible positions for each input token. We experiment on both Vision and Speech benchmarks, where our approach brings improvements over strong supervised training baselines and is comparable to modern unsupervised/self-supervised pretraining methods. Our method also enables Transformers trained without position embeddings to outperform ones trained with full position information.

研究の動機と目的

• マスクドオートエンコーダーのような複雑な再構成目的に依存しない自己教師あり事前学習戦略の開発。
• 位置の理解が、明示的な位置の教師信号なしに、コンテンツからのみ学習可能かどうかの検証。
• 事前学習中に位置埋め込みを削除しても、強力なダウンストリーム性能が得られるかどうかの評価。
• コンテンツ再構成と比較して、位置予測をプロキシタスクとして用いる有効性の検討。
• トランスフォーマーが、位置予測のみを通じて、空間的または時間的構造に対する強いインダクティブバイアスを学習可能かどうかの検証。

提案手法

• 各入力トークン（画像パッチまたは音声フレームなど）の位置を予測するために、線形分類ヘッドを用い、位置予測を多値分類問題として扱う。
• 事前学習中に、すべてのトークンから位置情報を削除し、キーやバリューとして使用するのはランダムに選ばれたトークンのサブセット（コンテキストトークン）のみとする。
• 自己注意機構を変更し、すべてのクエリがコンテキストトークンからのキーやバリューにのみ注目するようにすることで、部分的なコンテキストからの位置推論を強制する。
• 訓練目的は、予測された位置と真の位置の間の交差エントロピー損失であり、ピクセル値やスペクトル値の再構成は一切行わない。
• 事前学習後、位置予測ヘッドを削除し、ダウンストリームタスクヘッド（例：分類）に置き換え、微調整段階で絶対的位相埋め込みを追加する。
• 本手法は、視覚（ImageNet, CIFAR）および音声（Google Speech Commands）ベンチマークに適用され、一貫した性能向上を示している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、位置の教師信号が一切ない状態でも、入力トークン間の位置関係をそのコンテンツからのみ学習可能か？
• RQ2 位置予測をプロキシタスクとして用いる場合、マスクド再構成と比較して、ダウンストリーム性能および効率性にどのような差が生じるか？
• RQ3 位置埋め込みを含まない状態で事前学習したトランスフォーマーが、位置埋め込みを含むものよりも優れた性能を示せるか？
• RQ4 視覚データと音声データにおける位置予測タスクの難易度に差はあり、部分的な位置の教師信号が性能に与える影響はいかほどか？
• RQ5 MP3が学習するインダクティブバイアスは何か？また、推論時に注意パターンはそのバイアスをどのように反映しているか？

主な発見

• ImageNet-1Kベンチマークにおいて、ViT-Baseモデルを用いたMP3は80.2%のトップ1精度を達成し、教師あり学習を上回り、最先端の自己教師あり手法と同等の性能を示した。
• Google Speech Commandsデータセットでは、MP3によりテスト精度が91.9%（教師ありベースライン）から94.2%に上昇し、2.3%の絶対的向上を達成した。これは、位置情報が提供されるパッチが全体の5%にとどまっている状況でも成立した。
• 視覚データにおいて、すべてのパッチが可視な状態では、位置予測の正確度が98.7%に達し、空間的関係を強く学習可能であることが示された。
• 事前学習中に位置埋め込みを一切使用しなかったにもかかわらず、MP3は深い層（例：層6, 10, 11）で明確な局所化パターンを学習しており、コンテンツからのみ位置理解が暗黙的に生じることを示唆している。
• コンテキストトークンのみをキーやバリューとして使用するスパース注意機構を採用することで、計算コストを削減し、完全な自己注意よりも事前学習段階をより効率的に行えるようになった。
• MP3による事前学習の微調整は、完全な位置埋め込みを用いた教師あり事前学習を上回る性能を示した。