[論文レビュー] AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization

Tiezheng Yu, Zihan Liu+1 more|arXiv (Cornell University)|Mar 21, 2021

Topic Modeling参考文献 60被引用数 11

ひとこと要約

本稿では、6つの多様なドメインをカバーする低リソースの抽象的要約のベンチマーク「AdaptSum」を紹介し、大規模生成モデルにおける3つの第二段階的事前学習戦略—ソースドメイン事前学習、ドメイン適応的事前学習、タスク適応的事前学習—を調査する。ソースドメイン事前学習（SDPT）とタスク適応的事前学習（TAPT）は少サンプル性能を向上させるが、ドメイン適応的事前学習（DAPT）は、事前学習データがターゲットドメインに近い場合にのみ有効である。本研究ではさらに、RecAdamが継続的事前学習中の深刻な忘却を軽減し、TAPT性能を顕著に向上させることを示している。

ABSTRACT

State-of-the-art abstractive summarization models generally rely on extensive labeled data, which lowers their generalization ability on domains where such data are not available. In this paper, we present a study of domain adaptation for the abstractive summarization task across six diverse target domains in a low-resource setting. Specifically, we investigate the second phase of pre-training on large-scale generative models under three different settings: 1) source domain pre-training; 2) domain-adaptive pre-training; and 3) task-adaptive pre-training. Experiments show that the effectiveness of pre-training is correlated with the similarity between the pre-training data and the target domain task. Moreover, we find that continuing pre-training could lead to the pre-trained model's catastrophic forgetting, and a learning method with less forgetting can alleviate this issue. Furthermore, results illustrate that a huge gap still exists between the low-resource and high-resource settings, which highlights the need for more advanced domain adaptation methods for the abstractive summarization task.

研究の動機と目的

• 多様なドメインにおける抽象的要約の低リソースドメイン適応ベンチマークの不足に応えること。
• 低リソース設定下での第二段階的事前学習戦略（ソースドメイン、ドメイン適応的、タスク適応的事前学習）の有効性を調査すること。
• ドメイン適応的事前学習が性能を向上させるかどうか、および事前学習データとターゲットタスクのデータ類似度に敏感であるかどうかを検討すること。
• 継続的事前学習中の深刻な忘却の影響を評価し、RecAdamを用いてそれを軽減すること。
• 低リソースの抽象的要約における主な課題を明らかにし、今後の研究を導くこと。

提案手法

• 6つの既存データセット（対話、メール、映画レビュー、討論、ソーシャルメディア、科学）を統合し、トレーニングサンプルを削減することで低リソース設定を模擬することで、低リソースベンチマークを構築する。
• 3つの第二段階的事前学習戦略を適用：ラベル付き要約データセットで行うソースドメイン事前学習（SDPT）、ドメイン固有の非ラベル付きテキストで行うドメイン適応的事前学習（DAPT）、小規模なタスク関連非ラベル付きテキストで行うタスク適応的事前学習（TAPT）。
• BARTをベース生成モデルとして用い、各事前学習段階の後に要約生成のためのファインチューニングを実施する。
• RecAdam—パラメータ効率的で忘却に配慮した最適化手法—を導入し、継続的事前学習中の深刻な忘却を軽減する。
• 評価にはROUGEスコア（F1）を用い、トレーニングサンプル数を変化させたリソースレベル（50、2%、25%、100%）でアブレーションスタディを実施する。
• 事前学習ドメインとターゲットドメイン間の語彙の重複度とデータ統計を分析し、類似度を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる第二段階的事前学習戦略（SDPT、DAPT、TAPT）は、低リソースの抽象的要約においてどの程度有効か？
• RQ2 事前学習データとターゲットドメインデータの類似度が、ドメイン適応的事前学習（DAPT）の性能に影響を与えるか？
• RQ3 継続的事前学習中に深刻な忘却が性能をどの程度損なうか、またそれを軽減できるか？
• RQ4 トレーニングサンプル数が減少するにつれて性能はどのように変化するか、特に極端な低リソース設定（例：50サンプル）においては？
• RQ5 低リソースドメインに適応する抽象的要約モデルにおける主な課題は何か？

主な発見

• XSumに基づくソースドメイン事前学習（SDPT）は、CNN/DMに基づくSDPTよりも優れる。特に入力および要約長が短いドメインでは、XSumの新しい語彙の割合が高く、要約一般化性能が優れているためである。
• タスク適応的事前学習（TAPT）は低リソース設定ではファインチューニングを常に上回るが、中・高リソース設定では深刻な忘却のため性能が低下する。
• ドメイン適応的事前学習（DAPT）は、事前学習コーパスがターゲットドメインに非常に類似している場合にのみ性能を向上させる。それ以外では性能が劣り、分類タスクにおける報告とは対照的である。
• RecAdamはTAPT中の深刻な忘却を効果的に軽減し、特に低リソース状況で顕著な性能向上をもたらす。
• 最適な事前学習を施しても、低リソースと高リソース設定の間には大きな性能ギャップが残り、50件のトレーニングサンプルでの性能は著しく低い。
• 中リソースのデータを用いたDAPTは、高リソース設定に近い性能を達成する。これは、大規模事前学習と効果的な第二段階的事前学習が、データ不足を部分的に補う可能性を示している。