[論文レビュー] Multi-stage Pretraining for Abstractive Summarization

Sebastian Goodman, Zhenzhong Lan+1 more|arXiv (Cornell University)|Sep 23, 2019

Topic Modeling参考文献 34被引用数 4

ひとこと要約

本稿では、要約の抽象的特徴を向上させるために、BERTとGigawordの事前学習を用いたフルネットワーク初期化を用いた段階的事前学習を提案する。最大尤度学習と推論時ヒューリスティクスを一切使用しないにもかかわらず、Gigawordで+1.05 ROUGE-L、CNN/DailyMailで+1.78 ROUGE-Lのスコア向上を達成し、抽象的生成率が4%に達する。これは、従来のMLEベースのモデルと比較して顕著に高い水準である。

ABSTRACT

Neural models for abstractive summarization tend to achieve the best performance in the presence of highly specialized, summarization specific modeling add-ons such as pointer-generator, coverage-modeling, and inferencetime heuristics. We show here that pretraining can complement such modeling advancements to yield improved results in both short-form and long-form abstractive summarization using two key concepts: full-network initialization and multi-stage pretraining. Our method allows the model to transitively benefit from multiple pretraining tasks, from generic language tasks to a specialized summarization task to an even more specialized one such as bullet-based summarization. Using this approach, we demonstrate improvements of 1.05 ROUGE-L points on the Gigaword benchmark and 1.78 ROUGE-L points on the CNN/DailyMail benchmark, compared to a randomly-initialized baseline.

研究の動機と目的

• 複雑な推論時ヒューリスティクスやタスク固有のアーキテクチャ変更に依存せずに、要約生成性能を向上させること。
• 一般言語モデリング（BERT）から始まり、要約固有のタスク（Gigaword）に至る段階的事前学習が、モデル性能と抽象的生成能力の向上に寄与するかどうかを調査すること。
• 要約ベンチマークにおけるパラメータ初期化方法として、フルネットワーク初期化と部分的・浅い初期化の影響を評価すること。
• 特に、最先端のMLEベースのモデルと比較して、事前学習が抽象的生成率の向上に寄与するかどうかを特定すること。

提案手法

• モデルは、エンコーダーとデコーダーの両層が、BERTおよびGigawordの事前学習で得られた重みを用いて初期化されるTransformerベースのアーキテクチャを採用する。
• 段階的事前学習は2段階で実施：まず、一般言語理解を目的としたBERT言語モデリングタスクで事前学習を行い、次に要約固有の知識を習得するためGigaword要約タスクで学習する。
• 最終的なファインチューニング段階では、ターゲットデータセット（CNN/DailyMailまたはGigaword）に対して最大尤度推定（MLE）損失を用いるが、強化学習や推論時ヒューリスティクスは一切使用しない。
• ランダム初期化、BERTのみでエンコーダーを初期化する方法、およびエンコーダーとデコーダーの両方をBERTとGigawordで初期化する方法といった、異なる初期化方式を比較する。
• ROUGE-L F1と抽象的生成率を指標として評価し、部分的事前学習の影響を評価するためのアブレーションスタディを実施する。
• 主な実験ではポインタジェネレーターやカバレッジ機構を導入せず、事前学習を主な性能向上要因と位置づける。

実験結果

リサーチクエスチョン

• RQ1 BERTから始まり、Gigaword要約タスクに至る段階的事前学習は、ランダム初期化と比較して要約生成性能を向上させるか？
• RQ2 単に単語埋め込みのみを初期化する浅い初期化ではなく、フルネットワークパラメータ初期化が要約タスクでより良い性能をもたらすか？
• RQ3 事前学習が抽象的生成率をどの程度向上させるか、特に最先端のMLEベースのモデルと比較してどうか？
• RQ4 本手法は、長さペナルティやn-gram繰り返し制御といった推論時ヒューリスティクスに依存せずに高い性能を達成できるか？
• RQ5 事前学習された層の数とモデル性能の関係は何か？また、より深い事前学習が一貫して結果を改善するか？

主な発見

• 段階的事前学習アプローチにより、ランダム初期化ベースラインと比較してGigawordベンチマークで+1.05 ROUGE-L F1のスコア向上を達成した。
• CNN/DailyMailベンチマークでは、同じベースラインと比較して+1.78 ROUGE-L F1の向上を達成し、従来のMLEベースのモデルを上回った。
• モデルの抽象的生成率は4%に達した。これは、Gehrmannら（2018）が報告した最先端のMLEベースモデルの0.5%と比較して顕著に高く、抽出的生成と抽象的生成のバランスが取れていることを示している。
• エンコーダーとデコーダーの両方を事前学習済み重みで初期化するフルネットワーク初期化は、部分的・浅い初期化よりも優れた性能を示した。また、事前学習された層の数とROUGE-L F1スコアの間に強い正の相関（r = 0.8698）が確認された。
• ゼロ段階または1段階の事前学習ベースラインと比較して、より少ないエポック数でピーク性能に到達した。これは収束が速いことを示している。
• コンテンツ選択予測の追加によりROUGE-L F1が0.03しか向上しなかったため、事前学習による向上効果に比べてその恩恵は限定的であると考えられる。