[論文レビュー] Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network

Yehao Li, Yingwei Pan+3 more|arXiv (Cornell University)|Jan 27, 2021

Multimodal Machine Learning Applications参考文献 46被引用数 8

ひとこと要約

本稿では、視覚言語理解と生成の両方を同時に可能にする2ストリーム分離型エンコーダデコーダネットワークであるTDENを提案する。マスクトークンを用いた代理タスク（MLM や MSG）に起因する事前学習と微調整の乖離を解消するための新規2段階スケジューリングサンプリング戦略を用いることで、TDENは4つの下流視覚言語タスクで最先端の性能を達成し、マスク言語モデリングおよびマスク文生成タスクにおける分離型クロスマodalエンコーダとデコーダのおかげで優れた一般化性能を示している。

ABSTRACT

Despite having impressive vision-language (VL) pretraining with BERT-based encoder for VL understanding, the pretraining of a universal encoder-decoder for both VL understanding and generation remains challenging. The difficulty originates from the inherently different peculiarities of the two disciplines, e.g., VL understanding tasks capitalize on the unrestricted message passing across modalities, while generation tasks only employ visual-to-textual message passing. In this paper, we start with a two-stream decoupled design of encoder-decoder structure, in which two decoupled cross-modal encoder and decoder are involved to separately perform each type of proxy tasks, for simultaneous VL understanding and generation pretraining. Moreover, for VL pretraining, the dominant way is to replace some input visual/word tokens with mask tokens and enforce the multi-modal encoder/decoder to reconstruct the original tokens, but no mask token is involved when fine-tuning on downstream tasks. As an alternative, we propose a primary scheduled sampling strategy that elegantly mitigates such discrepancy via pretraining encoder-decoder in a two-pass manner. Extensive experiments demonstrate the compelling generalizability of our pretrained encoder-decoder by fine-tuning on four VL understanding and generation downstream tasks. Source code is available at \url{https://github.com/YehLi/TDEN}.

研究の動機と目的

• 視覚言語理解と生成の両方のタスクをサポートするユニバーサルなエンコーダデコーダモデルを事前学習する課題に対処すること。
• MLM や MSG のような代理タスクでマスクトークンが原因となる事前学習と微調整の乖離を軽減すること。
• 理解と生成の両方の代理タスクを別々に処理する2ストリーム分離型アーキテクチャの有効性を検討すること。
• 推論時に実際のトークン生成を模倣することで一般化性能を向上させるスケジューリングサンプリング戦略を設計すること。
• 提案手法を複数の下流視覚言語タスクで検証し、既存手法よりも優れた性能を示すこと。

提案手法

• 共有オブジェクトおよび文エンコーダを備えた2ストリーム分離型アーキテクチャを提案。視覚言語理解と生成のための別々のクロスマodalエンコーダとデコーダを備える。
• 理解用事前学習にはマスク言語モデリング（MLM）、マスクオブジェクト分類（MOC）、画像文マッチング（ISM）を、生成用事前学習にはマスク文生成（MSG）を用いる。
• 2段階事前学習スキームを導入：第1段階ではモデルがマスクトークンの予測を行う。第2段階では、[MASK]トークンの代わりに、前段階の予測結果を入力として使用することで、実際の推論を模倣する。
• スケジューリングサンプリングを適用し、人工的な[MASK]トークンの代わりに前回の段階で生成された予測トークンを置き換えることで、事前学習における露出バイアスを低減する。
• ISMには共有オブジェクトおよび文エンコーダの出力を用いることで、クロスマodalエンコーダに干渉を及げず、性能向上を図る。
• クロスマodalエンコーダとデコーダを理解と生成の両方の代理タスクで同時に事前学習するマルチタスク学習設定を採用する。

実験結果

リサーチクエスチョン

• RQ1 分離型エンコーダデコーダアーキテクチャは、視覚言語事前学習の理解と生成タスクにおける一般化性能を向上させることができるか？
• RQ2 事前学習中にスケジューリングサンプリングを適用すると、下流タスクにおける視覚言語モデルの性能にどのような影響を与えるか？
• RQ3 クロスマodalエンコーダとデコーダを同時に事前学習することで、別々に事前学習する場合よりも優れた結果が得られるか？
• RQ4 2番目の段階の事前学習において、[MASK]トークンの代わりにモデルが生成したトークンを使用することで、どのような影響があるか？
• RQ5 ISMの実装方法として、クロスマodalエンコーダの出力を使うか、オブジェクト／文エンコーダの出力を使うかの選択が、全体の性能に与える影響は何か？

主な発見

• TDENは、視覚質問応答、画像キャプション生成、動画キャプション生成、画像・テキスト検索の4つの下流タスクすべてで、新たな最先端性能を達成した。
• クロスマodalエンコーダとデコーダを同時に事前学習することで、別々に事前学習する場合よりも優れた性能が得られ、理解と生成タスクの両方における共同最適化の利点を確認した。
• オブジェクトおよび文エンコーダの出力をISMに使用すると、分布の不一致に起因する問題を抱えるクロスマodalエンコーダの出力を使う場合よりも優れた結果が得られた。
• 2段階スケジューリングサンプリング戦略は、標準的な事前学習（スケジューリングなし）と比較して、下流タスクの性能を顕著に向上させた。
• 評価した3つの2段階スキームの中で、Two-Pass-Cが性能とトレーニングコストのバランスが最も良く、わずかな精度の低下しか生じなかった。
• アブレーションスタディにより、分離型設計とスケジューリングサンプリングがTDENの成功の鍵であることが確認され、全評価タスクで一貫した性能向上が得られた。