[論文レビュー] Denoising based Sequence-to-Sequence Pre-training for Text Generation

Liang Wang, Wei Zhao+3 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 62被引用数 5

ひとこと要約

この論文では、ノイズが混入したテキストシーケンスを用いてエンコーダーとデコーダーの両方を同時に微調整する、denoisingベースのシーケンス・ツー・シーケンス事前学習手法PoDAを提案する。単語の入れ替え、削除、置換による事前学習を大規模なラベルなしテキスト上で実施することで、要約生成および文法的誤り訂正タスクで最先端または競争力のある性能を達成し、タスク固有の修正なしに収束を著しく高速化する。

ABSTRACT

This paper presents a new sequence-to-sequence (seq2seq) pre-training method PoDA (Pre-training of Denoising Autoencoders), which learns representations suitable for text generation tasks. Unlike encoder-only (e.g., BERT) or decoder-only (e.g., OpenAI GPT) pre-training approaches, PoDA jointly pre-trains both the encoder and decoder by denoising the noise-corrupted text, and it also has the advantage of keeping the network architecture unchanged in the subsequent fine-tuning stage. Meanwhile, we design a hybrid model of Transformer and pointer-generator networks as the backbone architecture for PoDA. We conduct experiments on two text generation tasks: abstractive summarization, and grammatical error correction. Results on four datasets show that PoDA can improve model performance over strong baselines without using any task-specific techniques and significantly speed up convergence.

研究の動機と目的

• シーケンス・ツー・シーケンスモデルにおいて、従来の事前学習手法がエンコーダーまたはデコーダーの一方しか事前学習しないという制限を解消すること。
• テキスト生成のためのエンコーダーとデコーダーの両方の表現を統合的に最適化する一貫した事前学習アプローチを開発すること。
• 大規模なラベルなしテキストからの事前学習表現を活用することで、微調整段階での収束を高速化すること。
• 事前学習段階と微調整段階の間でアーキテクチャの一貫性を維持し、構造的変更を避けること。

提案手法

• PoDAは、生成とコピーメカニズムを両立できるポインタジェネレータ出力層を備えたTransformerエンコーダーとデコーダーを組み合わせたハイブリッドアーキテクチャを採用する。
• 入力シーケンスにランダムなシャッフル、削除、置換の3つのノイズ関数を適用し、修復対象の汚染された入力を生成する。
• 修復目的は、ノイズが加えられた入力から元のクリーンなシーケンスを再構築させることで、頑健な文脈表現を学習することを目的とする。
• 事前学習は、Billion Word Benchmarkおよび英語Wikipediaを含む大規模な単語彙言語コーパス上で実施され、合計で約29億9000万語にのぼる。
• PoDAはTransformerやConvS2Sを含むさまざまなseq2seqアーキテクチャと互換性があり、微調整段階でアーキテクチャの変更を必要としない。
• 微調整段階では最大尤度学習を用い、カリキュラム学習やスケジュールドサンプリングなどのタスク固有の技術に依存しない。

実験結果

リサーチクエスチョン

• RQ1 denoisingオートエンコーダー事前学習戦略は、テキスト生成のためのシーケンス・ツー・シーケンスモデルにおいて、エンコーダーとデコーダーの両方の表現を同時に向上させることができるか？
• RQ2 エンコーダーとデコーダーを統合的に事前学習することで、個別に事前学習する場合と比較して、下流のテキスト生成タスクにおける収束速度と性能が向上するか？
• RQ3 タスク固有のアーキテクチャ的・訓練的修正なしに、PoDAは要約生成および文法的誤り訂正タスクでどの程度有効であるか？
• RQ4 ノイズ関数の選択（シャッフル、削除、置換）がモデルの性能と頑健性にどの程度影響を与えるか？
• RQ5 PoDAは、アーキテクチャの単純さを保ちつつ、標準的な微調整パイプラインと互換性を維持したまま最先端の結果を達成できるか？

主な発見

• PoDAは、CNN/Daily Mail、Gigaword、CoNLL-2014、JFLEGの4つのベンチマークデータセットで、タスク固有の技術を一切使用せずに優れたまたは競争力のある性能を達成した。
• ベースラインモデルと比較して収束が著しく速い：CNN/Daily MailおよびGigawordにおいて、PoDAは5エポックでバリデーションパープレクシティに到達するが、非事前学習モデルでは30エポック以上を要する。
• 事前学習ステップにより、4つのすべてのデータセットでモデル性能が向上し、エンコーダーとデコーダーの統合的事前学習の有効性が裏付けられた。
• β分布の事前分布を用いた複数のノイズ関数（シャッフル、削除、置換）の併用により、さまざまなノイズレベルに対して頑健な性能が得られた。
• 事前学習と微調整の段階でアーキテクチャの一貫性が維持され、モデル再構成の必要がなかった。
• コードと事前学習済みモデルは https://github.com/yuantiku/PoDA で公開されており、再現性およびさらなる研究を支援している。