[論文レビュー] ERNIE-Doc: A Retrospective Long-Document Modeling Transformer

Siyu Ding, Junyuan Shang+5 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 43被引用数 11

ひとこと要約

ERNIE-Doc は、文書全体の文脈を活用できるようにするためのリトロスペクティブフィード機構と強化された再帰機構を導入した、長文書モデリングに特化した変換器アーキテクチャを提案する。これにより、従来の固定長シーケンスアテンションによる文脈断片化問題を克服し、トレーニング中に文書全体の文脈認識を実現する。このモデルは、WikiText-103 で16.8の perplexity を達成し、複数の英語および中国語 NLU タスクにおいて最先端の性能を示した。

ABSTRACT

Transformers are not suited for processing long documents, due to their quadratically increasing memory and time consumption. Simply truncating a long document or applying the sparse attention mechanism will incur the context fragmentation problem or lead to an inferior modeling capability against comparable model sizes. In this paper, we propose ERNIE-Doc, a document-level language pretraining model based on Recurrence Transformers. Two well-designed techniques, namely the retrospective feed mechanism and the enhanced recurrence mechanism, enable ERNIE-Doc, which has a much longer effective context length, to capture the contextual information of a complete document. We pretrain ERNIE-Doc to explicitly learn the relationships among segments with an additional document-aware segment-reordering objective. Various experiments were conducted on both English and Chinese document-level tasks. ERNIE-Doc improved the state-of-the-art language modeling result of perplexity to 16.8 on WikiText-103. Moreover, it outperformed competitive pretraining models by a large margin on most language understanding tasks, such as text classification and question answering.

研究の動機と目的

• 標準の変換器における固定シーケンスアテンションによって引き起こされる長文書モデリングにおける文脈断片化問題に対処すること。
• 疎なアテンションや標準的な再帰変換器の制限を克服し、トレーニング時に文書全体の情報を有効に活用できるようにすること。
• トレーニング中に各セグメントが文書全体の文脈にアテンションできるようにすることで、完全な文書の双方向モデリングを可能にすること。
• セグメント間の関係をモデル化する新しい文書認識型セグメント再順序付け目的関数を用いて、文書レベルの表現学習を向上させること。
• 英語および中国語の両言語において、長文脈言語モデリングおよび下流の NLU タスクで最先端のパフォーマンスを達成すること。

提案手法

• 文書セグメントを2回処理するリトロスペクティブフィード機構を導入：最初にスキャンフェーズで初期表現を構築し、次にリトロスペクティブフェーズで各セグメントが文書全体の文脈にアテンションできるようにする。
• レイヤー内再帰をレイヤー間シフトに置き換える強化された再帰機構を提案。これにより、高レベルの表現が複数のレイヤーで再利用可能となり、有効な文脈長が著しく延長される。
• セグメントのシャッフルされた順序を予測する目的関数として、文書認識型セグメント再順序付け目的関数を設計。これにより、セグメント間の関係を学習できる。
• 強化された再帰機構を用いて自己回帰的言語モデリングで ERNIE-Doc をトレーニング。これにより、理論的に無限のシーケンス長を処理可能となる。
• 大規模な英語および中国語コーパスでモデルを事前学習し、テキスト分類、質問応答、意味類似度など、多様な下流 NLU タスクで微調整を行う。
• セグメント再順序付け目的関数から得られる [CLS] テンキーを活用し、文書全体の構造を捉えることで、文書レベル分類のパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定長セグメントに分割されたシーケンスを入力とする場合でも、文脈断片化を回避できるように、変換器ベースのモデルが長文書を効果的にモデリングできるか？
• RQ2 2次関数的アテンションや疎なアテンション機構の制限を超えて、変換器の有効な文脈長をどのように延長できるか？
• RQ3 トレーニング時に文書全体の文脈を組み込むことで、下流の文書レベル理解タスクの性能がどの程度向上するか？
• RQ4 セグメント再順序付けに基づく文書認識型事前学習目的関数は、長距離依存関係およびセグメント間関係を捉える能力を向上させるか？
• RQ5 強化された再帰機構により、事前学習時の最大シーケンス長を短縮しつつ、モデルのパフォーマンスを維持または向上できるか？

主な発見

• ERNIE-Doc は、WikiText-103 ベンチマークで16.8という最先端の perplexity を達成し、自己回帰的言語モデリングの分野で先行モデルを上回った。
• TQA および HYP の英語質問応答タスクにおいて、ERNIE-Doc -Small はそれぞれ F1 スコア 64.56 および 86.10 を達成。アブレーションスタディにより、提案された各コンponent がパフォーマンス向上に顕著に寄与していることが示された。
• セグメント再順序付け目的関数により、HYP データセットで1.5パーセンテージポイントのスコア上昇が観察され、長文分類タスクへの有効性が裏付けられた。
• 強化された再帰機構により、最大シーケンス長が128の ERNIE-Doc -Small が、長さ512のモデルと同等の精度を達成した。これは、計算コストを大幅に削減できる効率性を示している。
• 長文分類および機械的読解を含む7つの中国語 NLU タスクにおいて、ベースサイズのモデル群で、ERNIE-Doc は先行モデルを大きく上回った。
• アブレーションスタディにより、リトロスペクティブフィード、強化された再帰、セグメント再順序付けのいずれのコンponent をも削除しても、全タスクで一貫して顕著なパフォーマンス低下が確認された。