[論文レビュー] RetrievalSum: A Retrieval Enhanced Framework for Abstractive Summarization

Chenxin An, Ming Zhong+3 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 32被引用数 12

ひとこと要約

RetrievalSumは、訓練コーパスから意味的に類似した例示例（exemplars）を検索することで、抽象的要約モデルを強化するリtrieval拡張フレームワークを提案する。密度的なリtrieverと2つの新規メカニズム（グループアライメントとROUGEクレジット）を統合することにより、事実の整合性、ライティングスタイル、ROUGEスコアが、BART や BERT などの強力なベースラインよりも最大4.66ポイント向上する。

ABSTRACT

Existing summarization systems mostly generate summaries purely relying on the content of the source document. However, even for humans, we usually need some references or exemplars to help us fully understand the source document and write summaries in a particular format. But how to find the high-quality exemplars and incorporate them into summarization systems is still challenging and worth exploring. In this paper, we propose RetrievalSum, a novel retrieval enhanced abstractive summarization framework consisting of a dense Retriever and a Summarizer. At first, several closely related exemplars are retrieved as supplementary input to help the generation model understand the text more comprehensively. Furthermore, retrieved exemplars can also play a role in guiding the model to capture the writing style of a specific corpus. We validate our method on a wide range of summarization datasets across multiple domains and two backbone models: BERT and BART. Results show that our framework obtains significant improvement by 1.38~4.66 in ROUGE-1 score when compared with the powerful pre-trained models, and achieve new state-of-the-art on BillSum. Human evaluation demonstrates that our retrieval enhanced model can better capture the domain-specific writing style.

研究の動機と目的

• 外部の例示例を統合することで、抽象的要約におけるコンテンツのずれと一貫性の欠如を是正すること。
• 訓練コーパスから高品質で意味的に類似した要約を検索することで、モデルのソースドキュメント理解を向上させること。
• 例示例をスタイルテンプレートとして活用することで、要約モデルがドメイン固有のライティングスタイルを学習できること。
• アーキテクチャの変更なしに既存の事前学習モデルを強化できる、プラグアンドプレイ可能なフレームワークを開発すること。
• 従来のスパース手法（例：TF-IDF、BM25）と比較して、密度的リtrieバルが要約タスクで優れていることを検証すること。

提案手法

• クエリ-ドキュメント埋め込み類似度に基づき、訓練セットから意味的に関連する例示例を検索する密度的パラグラフリtrieバ（DPRスタイル）を採用する。
• 検索された例示例を要約生成用エンコーダー入力に統合し、生成のための追加コンテキストとして扱う。
• トレーニング中にグループアライメントを適用し、例示例の各文を生成要約内の対応するスパンとアライメントさせることで、構造的および意味的整合性を維持する。
• ビームサーチ中にROUGEクレジットを適用し、検索された例示例のライティングスタイルに近い生成を促進する。これにより、スタイルの一貫性が高い生成が奨励される。
• モデルに依存しない設計とし、任意の事前学習エンコーダ-デコーダーモデル（例：BERT、BART）に内部アーキテクチャの変更なしに統合可能である。
• 生成損失とアライメント損失のバランスを取るマルチタスク目的関数を用いて、リtrieバと要約モデルを共同で訓練する。

実験結果

リサーチクエスチョン

• RQ1 訓練コーパスから高品質で意味的に類似した例示例を検索することで、抽象的要約のパフォーマンスが向上するか？
• RQ2 密度的リtrieバル（意味的マッチング）が、従来のスパースリtrieバル（例：TF-IDF、BM25）を上回るか？
• RQ3 検索された例示例は、要約のライティングスタイルの一貫性をどの程度向上させ、コンテンツのずれを軽減できるか？
• RQ4 提案されたメカニズム（グループアライメントとROUGEクレジット）は、アーキテクチャの変更なしに、モデルが例示例から学習するのを効果的に支援できるか？
• RQ5 複数のデータセットとバックボーンモデルを用いた場合、リtrieバル拡張モデルのパフォーマンスは、GSum や BART などの最先端モデルと比較してどの程度か？

主な発見

• RetrievalSumは、7つの多様な要約データセットで、BART や BERT などの強力なベースラインに対して、ROUGE-1スコアを1.38～4.66ポイント向上させる。
• 密度的リtrieバは、TF-IDF や Elastic Search よりも優れており、BART と組み合わせた場合、XSum で23.04のROUGE-1スコアを達成した（Elastic Search では20.81）。
• CNNDM データセットでは、密度的リtrieバを用いた Retrieval (BART) が、42.91のROUGE-1を達成し、GSum (BERT) よりも0.76のROUGE-1と0.87のROUGE-Lを上回った。
• BillSum における人間評価では、リtrieバル拡張モデルのライティングスタイルスコアが4.72であり、人間が書いた要約（4.92）に僅か0.20未満と、非常に高いスタイルの一貫性を示した。
• BART と比較して、情報量（4.15 vs. 3.98）と文の自然さ（4.63 vs. 4.52）が顕著に向上し、忠実性に低下は見られず、要約の質が向上した。
• 例示例を「プロンプト」として活用することで、モデルがドメイン固有のフレーズ（例：「内部収益法を改正する…」）で要約を開始するよう学習し、コンテンツのずれを軽減した。