[論文レビュー] A Closer Look at Data Bias in Neural Extractive Summarization Models

Ming Zhong, Danqing Wang+3 more|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 32被引用数 7

ひとこと要約

本稿では、データセットバイアス—特に構成要因およびスタイル要因—がニューラル抽出要約モデルの一般化に与える影響を調査する。コンテンツおよび位置的カバレッジ、密度、圧縮率といった特性を分析することで、ドメインやP/C値に基づく単純なデータ分割が、BERT微調整を上回る性能向上を実現することを示しており、モデル設計は単に事前学習モデルに依存するのではなく、データセットの特性に従うべきであることが示唆される。

ABSTRACT

In this paper, we take stock of the current state of summarization datasets and explore how different factors of datasets influence the generalization behaviour of neural extractive summarization models. Specifically, we first propose several properties of datasets, which matter for the generalization of summarization models. Then we build the connection between priors residing in datasets and model designs, analyzing how different properties of datasets influence the choices of model structure design and training methods. Finally, by taking a typical dataset as an example, we rethink the process of the model design based on the experience of the above analysis. We demonstrate that when we have a deep understanding of the characteristics of datasets, a simple approach can bring significant improvements to the existing state-of-the-art model.A

研究の動機と目的

• データセットレベルのバイアスを分析することで、現在のニューラル抽出要約モデルの限界を診断すること。
• データセット内の構成要因およびスタイル要因がモデルの一般化および設計選択に与える影響を理解すること。
• データセット特性に基づく単純なデータ分割戦略が、複雑なモデルアーキテクチャーや事前学習を上回ることを実証すること。
• データセット特性とモデル構造、学習スキーム、事前学習戦略の関連を提示することで、今後のモデル設計の指針を提供すること。

提案手法

• データセット特性を定量化するための4つの主要な測定指標を提案：位置的カバレッジ率、コンテンツカバレッジ率、密度、圧縮率。
• これらのデータセット特性がモデル設計、学習スキーム、事前学習戦略に与える影響を分析する。
• ドメイン、P値、C値でサンプルにタグを付けることでドメインに配慮した学習を実装し、一般化を向上させる。
• 複数のデータセット（CNN/DM、DUC2002、NYT50、Newsroom、arXiv、PubMed）間でのゼロショット転送評価を実施し、一般化性能を評価する。
• 学習スキームを比較：統合学習、明示的タグを用いたマルチドメイン学習、暗黙のBERTベース特徴、メタラーニング。
• BERTとベーストランスフォーマー・モデルを用いて、異なるデータ分割戦略下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 要約データセットにおける構成要因（例：コンテンツおよび位置的カバレッジ）がモデルの一般化にどのように影響するか？
• RQ2 スタイル要因（例：密度および圧縮率）が抽出要約モデルの性能および一般化にどのように影響するか？
• RQ3 ドメインベースまたはP/C値ベースのタグ付けといった単純なデータ分割戦略が、複雑なアーキテクチャーや事前学習と比較して、どの程度性能向上をもたらすか？
• RQ4 BERTが特定のデータセットで一般化がうまくいかない理由は何か？また、どのような条件下でBERTは最も良い性能を発揮するか？
• RQ5 データセットに配慮したモデル設計は、標準的な事前学習やアーキテクチャ設計を上回ることができるか？

主な発見

• ドメイン（CNN 対 DailyMail）に基づいて訓練データを分割することで、ベースモデルに比べてROUGE-1が0.12向上し、単純なデータ分割が極めて有効であることが示された。
• P値およびC値のタグ付けを組み合わせたモデルが、BERTを用いた場合に最高の性能（ROUGE-1 42.77）を記録し、標準的なBERT微調整を上回った。
• メタラーニングモデルは、分布が遠く離れたデータセット（例：arXiv、PubMed）においてBERTよりも一般化性能が優れており、分布外データに適応しやすいことが示唆された。
• BERTは低密度および低圧縮率のデータセット（例：arXiv、PubMed）では性能を発揮しないことが判明し、その成功がスタイル要因に強く依存していることが示された。
• ランダムなタグ付けは効果がなく、意味のあるデータ分割は任意の分割ではなく、データセットの内在的特性に基づくべきであることが確認された。
• 最も優れた性能を示したモデル（P/C値タグ付け付きBERT）は、ROUGE-1 42.77、ROUGE-2 19.98、ROUGE-L 39.10を達成し、データセットに配慮した設計が標準的なSOTA手法を上回ることを示した。