[論文レビュー] Efficient Adaptation of Pretrained Transformers for Abstractive Summarization

Andrew Hoang, Antoine Bosselut+2 more|arXiv (Cornell University)|Jun 1, 2019

Topic Modeling参考文献 26被引用数 39

ひとこと要約

この論文は、ソース埋め込みとドメイン適応トレーニングを用いて、事前学習済みのトランスフォーマー言語モデルを要約生成（抽象的要約）に適用し、2つのデータセットで新たなROUGEの最先端を達成し、人間評価のパフォーマンスも高い。

ABSTRACT

Large-scale learning of transformer language models has yielded improvements on a variety of natural language understanding tasks. Whether they can be effectively adapted for summarization, however, has been less explored, as the learned representations are less seamlessly integrated into existing neural text production architectures. In this work, we propose two solutions for efficiently adapting pretrained transformer language models as text summarizers: source embeddings and domain-adaptive training. We test these solutions on three abstractive summarization datasets, achieving new state of the art performance on two of them. Finally, we show that these improvements are achieved by producing more focused summaries with fewer superfluous and that performance improvements are more pronounced on more abstractive datasets.

研究の動機と目的

• 事前学習済みトランスフォーマー表現を要約生成へ効果的に適応させる方法を動機付け、評価する。
• ドメイン間のギャップとタスク整合性を埋めるため、ソース埋め込みとドメイン適応トレーニング（DAT）の2つの適応戦略を提案する。
• 3つの主要な要約データセットで手法を評価し、強力なベースラインと比較する。
• 要約の長さと抽出性がROUGEスコアと人間評価にどう影響するかを分析する。

提案手法

• 記事と要約を、デリミタと特殊な終了トークンを用いた1つの入力系列として表現する。
• 入力表現に記事トークンと要約トークンを区別するためのソース埋め込みを導入する。
• エンドタスクの要約訓練の前に、ニュースワイヤ言語にモデルを合わせるためのドメイン適応トレーニングを適用する。
• ターゲット要約の条件付き尤度を最大化するため、エンドタスク訓練付きでGPTベースのトランスフォーマーを要約器として微調整する。
• 比較のため、オプションとしてソース埋め込みをアブレーションしてTransformer-LMを作成する。
• 生成にはビーム幅3のビーム探索を用い、ROUGEメトリクスで評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを初期化元とした場合、事前学習済みのトランスフォーマー言語モデルは要約生成（抽象的要約）に効果的に再利用できるか？
• RQ2 ソース埋め込みとドメイン適応トレーニングはデータセット全体で抽象的要約の品質を向上させるか？
• RQ3 ROUGEスコアはトランスフォーマー要約における人間判断や要約の長さとどのように関連するか？
• RQ4 現状の最先端要約は、抽象設計にもかかわらず多くが抽出的か？

主な発見

モデル	R-1	R-2	R-L	長さ
PGen	36.44	15.66	33.42	53.69
PGen+Coverage	39.53	17.28	36.38	59.75
RougeSal + Ent RL	40.43	18.00	37.10	-
Bottom-Up Summ	41.22	18.68	38.34	55.25
CopyTransformer	40.96	18.38	38.16	-
rnn-ext + RL	41.47	18.72	37.76	77.44
DCA	41.67	19.47	37.92	51.01
Transformer-LM	38.67	17.47	35.79	43.40
Transformer-SM	37.96	17.36	35.12	42.42

• ソース埋め込みとドメイン適応トレーニングで学習したトランスフォーマー系要約器は、2つのデータセットでROUGE-Lの最先端を達成した。
• 人間評価では、非冗長性・一貫性・焦点・総合品質の点で、Transformer-SMがいくつかの強力なベースラインより優れていた。
• Transformer-SMはより短く簡潔な要約を生成する傾向がある一方、長いベースラインと同等のROUGE-Lリコールを維持しており、より効率的であることを示している。
• ROUGEスコア、特にROUGE-Lは要約の長さに敏感で、長い要約が有利になると楽観的になる可能性がある。
• CNN/Daily Mailでは、Transformer-SMはROUGEで一部のベースラインに劣るが、品質面で人間判断では好まれる。
• XSumでは、Transformer-SMがベースラインを上回り、Transformer-LMに匹敵またはそれを上回る。高度に抽象的な要約に対する両方の適応の利点を示唆している。
• Newsroomでは、Transformer-SMがROUGE-1, ROUGE-2, ROUGE-Lの全方面で従来の最良モデルを上回った。