[論文レビュー] CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems

Yiran Chen, Pengfei Liu+5 more|arXiv (Cornell University)|Oct 11, 2020

Topic Modeling参考文献 34被引用数 5

ひとこと要約

本稿では、ニューラルテキスト要約モデルの一般化性能を5つの多様なデータセットを対象に評価するための実験的クロスデータセット評価フレームワーク、CDEvalSummを紹介する。この評価により、交差データセット移行において、抽象的要約モデルは抽出的要約モデルに比べて著しく脆弱であることが明らかになった。BARTは高い性能と安定性を示した一方、BERTベースのモデルはドメイン内とドメイン外の設定における性能差が大きく、しばしば顕著な性能ギャップを示した。

ABSTRACT

Neural network-based models augmented with unsupervised pre-trained knowledge have achieved impressive performance on text summarization. However, most existing evaluation methods are limited to an in-domain setting, where summarizers are trained and evaluated on the same dataset. We argue that this approach can narrow our understanding of the generalization ability for different summarization systems. In this paper, we perform an in-depth analysis of characteristics of different datasets and investigate the performance of different summarization models under a cross-dataset setting, in which a summarizer trained on one corpus will be evaluated on a range of out-of-domain corpora. A comprehensive study of 11 representative summarization systems on 5 datasets from different domains reveals the effect of model architectures and generation ways (i.e. abstractive and extractive) on model generalization ability. Further, experimental results shed light on the limitations of existing summarizers. Brief introduction and supplementary code can be found in https://github.com/zide05/CDEvalSumm.

研究の動機と目的

• ドメイン内評価を超えたニューラル要約モデルの一般化能力を調査すること。
• モデルアーキテクチャーや生成タイプ（抽象的対抽出的）がクロスデータセット性能に与える影響を特定すること。
• ROUGE や事実性メトリクスとは直交する形で、最新のモデルの限界をクロスデータセット評価を用いて診断すること。
• 一般化性能を評価するための新たな評価指標「剛性」と「安定性」を提案・検証すること。

提案手法

• 11種類の代表的要約モデル（SOTAモデルとしてBART や BERT Match を含む）を1つのデータセットで学習し、残りの4つのドメイン外データセットで評価する。
• 意味的同等性の代理指標としてROUGEスコアを、ドメイン外設定における事実性評価としてFactCCを用いる。
• 一般化性能を測るための2つの新規評価指標を導入：『剛性』（ドメイン内での性能の一貫性）と『安定性』（ドメイン外での性能の一貫性）。
• CNN/DailyMail、XSum、PubMed、BigPatent、Redditの5つのデータセットを対象に包括的かつ細分化された分析を実施する。
• 抽出的および抽象的生成フレームワークを用いて、クロスデータセット移行下でのモデル行動の違いを比較する。
• コピーメカニズムやBERT統合といったアーキテクチャ的要素のアブレーションスタディを実施し、一般化性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーとLSTM、BERTとBARTといった異なるニューラルアーキテクチャが、クロスデータセット一般化性能にどのように影響を与えるか？
• RQ2 ドメイン外データセットで評価した場合、抽象的要約モデルと抽出的要約モデルは一般化行動において顕著な違いを示すか？
• RQ3 抽象的モデルにBERTを統合することで、データセット間での剛性と安定性にどの程度の影響が生じるか？
• RQ4 コピーメカニズムや事前学習済みシーケンス・トゥ・シーケンスモデル（例：BART）の微調整といったアーキテクチャ的要素は、クロスデータセットの頑健性を向上させるか？
• RQ5 既存の事実性評価手法はクロスデータセット設定でどの程度有効か？また、ドメイン外モデルがドメイン内モデルを上回る場合があるか？

主な発見

• 抽象的要約モデルは、クロスデータセット評価において、抽出的モデルに比べて著しく低い安定性（最大37%のギャップ）を示し、高い脆さが裏付けられた。
• 最先端の抽象的要約モデルBARTは、高い剛性（ドメイン内ROUGE）と強い安定性（ドメイン外ROUGE）を達成しており、他の抽象的要約モデルを上回った。
• BERT Matchは剛性（ROUGE）では優れた性能を示したが、BigPatent Bへの移行では特に低い安定性を示し、ドメイン感受性が顕著に現れた。
• コピーメカニズムを備えたモデル、または事前学習済みシーケンス・トゥ・シーケンスモデル（例：BART）で微調整されたモデルは、ドメイン間でより高い頑健性を示した。
• エンコーダーにBERTを単純に追加すると、ドメイン内性能は向上するが、ドメイン内とドメイン外の性能ギャップが拡大するため、統合が最適でない可能性がある。
• FactCCを用いた事実性評価では、正例に対する予測力が限定的であり、驚くべきことに、ドメイン外モデルがドメイン内モデルを上回る事実性スコアを示す場合もあった。