[論文レビュー] Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder.

Shuqi Lu, Chenyan Xiong+7 more|arXiv (Cornell University)|Feb 18, 2021

Topic Modeling参考文献 39被引用数 10

ひとこと要約

本稿では、[CLS]トークンからのみシーケンスを再構築する弱いデコーダーを介して事前学習されるシAMESEエンコーダー、SEED-Encoderを提案する。この手法により、エンコーダーは耐障害性が高く、マッチング最適化された表現を学習するよう強制される。本手法は、ウェブ検索および推薦ベンチマークにおけるシーケンスマッチングタスクにおいて、ゼロショットおよびフェイントショット性能を顕著に向上させる。

ABSTRACT

Many real-world applications use Siamese networks to efficiently match text sequences at scale, which require high-quality sequence encodings. This paper pre-trains language models dedicated to sequence matching in Siamese architectures. We first hypothesize that a representation is better for sequence matching if the entire sequence can be reconstructed from it, which, however, is unlikely to be achieved in standard autoencoders: A strong decoder can rely on its capacity and natural language patterns to reconstruct and bypass the needs of better sequence encodings. Therefore we propose a new self-learning method that pretrains the encoder with a weak which reconstructs the original sequence from the encoder's [CLS] representations but is restricted in both capacity and attention span. In our experiments on web search and recommendation, the pre-trained SEED-Encoder, SiamEsE oriented encoder by reconstructing from weak decoder, shows significantly better generalization ability when fine-tuned in Siamese networks, improving overall accuracy and few-shot performances. Our code and models will be released.

研究の動機と目的

• ウェブ検索や推薦など、実世界の応用におけるシAMESEネットワークのシーケンスエンコーディング品質の向上を目的とする。
• 強力なデコーダーが高品質なエンコーディングの必要性を回避する可能性があるという、標準的なオートエンコーダーの限界を解決することを目的とする。
• 再構築能力と注目範囲を制限することで、弱いデコーダーが、シーケンスマッチングのためのより良い表現学習を促進するかどうかを調査することを目的とする。
• ファインチューニングされたシAMESEネットワークにおける一般化性能を向上させる自己教師付き事前学習手法の開発を目的とする。
• より頑健なエンコーダー・アーキテクチャにより、フェイントショットおよびゼロショット性能が向上することを実証することを目的とする。

提案手法

• [CLS]表現に基づく自己教師付き再構築目的を用いて、シAMESEエンコーダーを事前学習する。
• 制限された容量と制限された注目範囲を持つ弱いデコーダーを用い、[CLS]トークンから全入力シーケンスを再構築する。
• デコーダーが言語的パターンや長距離依存関係に依存する能力を制限することで、エンコーダーがより情報豊かな表現を学習するよう強制する。
• デコーダーの制約下でも正確なシーケンス再構築が可能な[CLS]表現を生成するようエンコーダーを訓練する。
• 微調整の際には分類器ヘッドのみをファインチューニングし、下流のシAMESEネットワークに事前学習済みエンコーダーを適用する。
• 再構築損失を代理目的として用い、マッチングタスクのためのシーケンスエンコーディング品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 [CLS]トークンからのみシーケンスを再構築する弱いデコーダーは、シAMESEネットワークのシーケンスエンコーディング品質を向上させることができるか？
• RQ2 デコーダーの容量と注目範囲を制限することで、シーケンスマッチングにおける一般化性能が向上するか？
• RQ3 弱いデコーダーを用いた事前学習は、標準的なオートエンコーディングや対照的事前学習と比較して、フェイントショットおよびゼロショット設定で優れた性能を示すか？
• RQ4 提案手法は、実世界のウェブ検索および推薦タスクでの性能向上に寄与するか？
• RQ5 再構築を弱いデコーダーを介して強制することで、エンコーダーの表現品質はどの程度向上するか？

主な発見

• SEED-Encoderは、ゼロショットおよびフェイントショットの両シナリオにおいて、標準的な事前学習ベースラインを上回る性能を発揮する。
• ファインチューニング後の下流シAMESEネットワークにおいて、特にデータが少ない環境で顕著に高い精度を達成する。
• 弱いデコーダーの制約が、デコーダーが高品質なエンコーダー表現の必要性を回避するのを効果的に防いでいる。
• 多様なシーケンスマッチングタスク、特にウェブ検索および推薦タスクにおいて、事前学習エンコーダーの一般化性能が向上している。
• 強力な転移性能を示しており、[CLS]表現がより頑健で判別力のある特徴を学習していることが示唆される。
• 著者らは、弱いデコーダーの制限が本手法の成功に不可欠であることを確認しており、より強力なデコーダーでは、より良いエンコーディングを強制できないことが判明している。