[論文レビュー] BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation

Zheng Zhang, Liang Ding+4 more|arXiv (Cornell University)|Apr 16, 2022

Natural Language Processing Techniques被引用数 9

ひとこと要約

BLISSは、入力→出力の教師あり信号と、摂動を加えた入力→元の入力の自己教師あり信号を同時に活用することで、モデルの汎化性能を向上させるフレームワークレベルのロバストなシーケンス・ツー・シーケンス学習手法を提案する。単純なデータ拡張（シャッフルと置換）を適用し、摂動を加えたトークンおよび位置を復元する自己教師ありエンコーダーを訓練することで、翻訳では最大0.8 BLEUポイント、誤字訂正では+2.0 F0.5、要約では+0.5 ROUGE-Lの一貫した性能向上を達成。これは、vanilla Transformerに比べてより豊かな言語的表現を学習していることを示している。

ABSTRACT

Data augmentations (DA) are the cores to achieving robust sequence-to-sequence learning on various natural language processing (NLP) tasks. However, most of the DA approaches force the decoder to make predictions conditioned on the perturbed input representation, underutilizing supervised information provided by perturbed input. In this work, we propose a framework-level robust sequence-to-sequence learning approach, named BLISS, via self-supervised input representation, which has the great potential to complement the data-level augmentation approaches. The key idea is to supervise the sequence-to-sequence framework with both the extit{supervised} ("input$ ightarrow$output") and extit{self-supervised} ("perturbed input$ ightarrow$input") information. We conduct comprehensive experiments to validate the effectiveness of BLISS on various tasks, including machine translation, grammatical error correction, and text summarization. The results show that BLISS outperforms significantly the vanilla Transformer and consistently works well across tasks than the other five contrastive baselines. Extensive analyses reveal that BLISS learns robust representations and rich linguistic knowledge, confirming our claim. Source code will be released upon publication.

研究の動機と目的

• 既存のシーケンス・ツー・シーケンスモデル向けデータ拡張手法において、教師あり信号が十分に活用されていない問題に取り組むこと。具体的には、元の入力を教師信号として活用せず、摂動を加えた入力にのみ条件付けられる点に焦点を当てる。
• 教師あり（入力→出力）と自己教師あり（摂動を加えた入力→元の入力）の両学習目的を同時に最適化するフレームワークレベルのアプローチを開発すること。
• 補助的な自己教師あり信号を通じて、より不変で言語的に豊かな表現を学習することで、分布シフトや推論ノイズに対してよりロバストなモデルを実現すること。
• 機械翻訳、文法的誤り訂正、テキスト要約を含む多様なシーケンス・ツー・シーケンスタスクにおいて、提案手法の普遍性と有効性を検証すること。

提案手法

• 入力の摂動関数として、トークンのシャッフルと置換の2つのシンプルなデータ拡張技術を適用し、ノイズが加わった入力シーケンスを生成する。
• 摂動の度合いを制御するスムーズネスコントローラーを導入し、訓練に適した意味的で非自明なノイズを保証する。
• エンコーダー上に、摂動を加えた入力における元のトークンとその位置を同時に予測する自己教師ありメカニズムを設計する。
• 2つの補助損失関数を用いる：トークンのノイズ除去損失（元のトークンの復元）と位置のノイズ除去損失（元のトークン位置の復元）。
• 出力予測のための標準的な交差エントロピー損失と、入力復元のための2つの自己教師あり損失を組み合わせた目的関数により、エンド・ツー・エンドでモデルを訓練する。
• プールドされたエンコーダー表現の上にマルチレイヤーパーセプトロン（MLP）分類器を用いて言語的知識をプローブし、学習された表現の定量的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師あり信号と自己教師あり信号の両方を活用するフレームワークレベルの自己教師あり学習アプローチが、シーケンス・ツー・シーケンスモデルのロバスト性を向上させられるか？
• RQ2 入力→出力と摂動を加えた入力→元の入力の両方の監視を共同で最適化することで、多様なNLPタスクにおけるモデルの汎化性能がどのように向上するか？
• RQ3 標準的なTransformerに比べて、BLISSは表面的・構文的・意味的表現のどの側面においても、言語的知識をどれほど保持・強化しているか？
• RQ4 既存のデータ拡張ベースラインと比較して、BLISSはハイパーパrameterの選択や推論時のノイズに対してどれほどロバストか？
• RQ5 SwitchOutなどの他のデータ拡張技術と組み合わせることで、BLISSはさらなる性能向上を達成できるか？

主な発見

• BLISSは全評価タスクで一貫した性能向上を達成：機械翻訳で+0.6～+0.8 BLEUポイント、誤字訂正で+2.0 F0.5、要約で+0.5 ROUGE-Lの向上を、強力なTransformerベースラインに対して示した。
• アブレーションスタディの結果、トークンのノイズ除去損失または位置のノイズ除去損失のいずれかを削除すると、ノイズのある推論環境下で顕著な性能低下が生じ、補助的な自己教師あり信号の重要性が裏付けられた。
• プローブタスクの結果、BLISSのエンコーダーは、表面的・構文的・意味的プローブタスクの平均スコアが66.2（vanilla Transformerは65.1）にのぼり、より豊かな言語的知識を保持していることが示された。
• BLISSはハイパーパrameterの変動や推論ノイズに対してロバストであり、クリーンな状態とノイズのある状態の両方でベースラインを上回る性能を示した。
• 本手法は、SwitchOutなどの既存のデータ拡張戦略と相補的であることが示され、将来的なロバストトレーニングパイプラインへの統合の可能性を示唆している。
• 低リソース設定でもモデルの性能が安定的かつ効果的であることが確認され、強力な汎化能力を有していることが示された。