[論文レビュー] Newsroom: A Dataset of 1.3 Million Summaries with Diverse Extractive Strategies

Max Grusky, Mor Naaman+1 more|arXiv (Cornell University)|Apr 30, 2018

Topic Modeling被引用数 16

ひとこと要約

この論文は、1998年から2017年までに38の主要メディアから得た130万件の人的作成されたニュース要約を含むNewsroomというデータセットを紹介している。これらの要約は、検索エンジンやソーシャルメディア用のメタデータとして作成された。本研究では、抽出的要約から生成的要約までの連続的スペクトルにおける要約戦略を分析し、ROUGEスコアと人間評価を通じてデータセットの多様性と難易度を示し、Newsroomで学習させることで、ドメイン外要約タスクにおける性能向上が示された。

ABSTRACT

We present NEWSROOM, a summarization dataset of 1.3 million articles and summaries written by authors and editors in newsrooms of 38 major news publications. Extracted from search and social media metadata between 1998 and 2017, these high-quality summaries demonstrate high diversity of summarization styles. In particular, the summaries combine abstractive and extractive strategies, borrowing words and phrases from articles at varying rates. We analyze the extraction strategies used in NEWSROOM summaries against other datasets to quantify the diversity and difficulty of our new data, and train existing methods on the data to evaluate its utility and challenges.

研究の動機と目的

• 自動要約システムの学習および評価に用いる大規模かつ高品質な要約データの不足を解消すること。
• 複数のニュース分野および時間的期間にわたる、現実のジャーナリズム的要約実践を反映する多様な実世界データセットを提供すること。
• プロフェッショナルなニュースルーム要約で用いられる抽出的および生成的戦略のスペクトルを定量化し、特徴づけること。
• 自動（ROUGE）および人間評価の両方の指標を用いて要約モデルを評価するためのベンチマークを確立すること。
• Newsroomで学習させることで、ドメイン外データに対する要約モデルの性能向上を示し、データセットの実用的価値を実証すること。

提案手法

• 検索エンジンやソーシャルメディア用のメタデータとしてジャーナリストや編集者が作成した、38の主要メディアから130万件の記事-要約ペアを収集した。
• 抽出的特徴を定量化するためのメトリクスを定義・計算し、要約内容の元テキストからの抽出割合を測定することで、抽出的、ミックス、生成的のサブセットに分類可能とした。
• ROUGEスコアと人間評価の両方を用いて、複数のベースラインモデル（例：TextRank、Pointer-Generator、Abs-N）をNewsroomデータセット上で学習・評価した。
• クラウドワーカーを用いて、情報性、関連性、流暢さ、一貫性という4つの次元からなる人間評価プロトコルを設計し、ROUGEを超える要約品質の評価を可能とした。
• 人間評価スコアを用いて自動指標を超えたモデル性能の比較を行い、ROUGEと人間の判断との乖離を明らかにした。
• 最先端のミックス戦略要約モデルをNewsroomでファインチューニングし、ドメイン外テストセットでの性能を評価することで、トランスファーラーニングの有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 異なるメディアやトピックにおいて、プロフェッショナルなニュースルーム要約は、抽出的戦略と生成的戦略の使用にどの程度ばらつきを示すか？
• RQ2 Newsroomにおける要約スタイルの多様性は、抽出的特徴、圧縮率、カバレッジの観点から、既存の要約データセットと比べてどの程度異なるか？
• RQ3 このデータセットにおいて、自動評価指標（例：ROUGE）は人間の要約品質評価とどの程度相関しているか？
• RQ4 Newsroomで学習させることで、ドメイン外テストデータにおける要約モデルの性能が向上するか、もしあるならば、その向上幅はどの程度か？
• RQ5 抽出的、生成的、Pointer-Generatorなどの異なるニューラルモデルは、この多様で現実世界のデータセットにおいて、流暢さ、一貫性、情報性の観点からどの程度の性能を示すか？

主な発見

• Newsroomには、1998年から2017年までにわたる約20年間にわたり、38の主要メディアから得た130万件の記事-要約ペアが含まれており、要約は一般向けに公開される目的でプロフェッショナルなジャーナリストによって作成された。
• このデータセットは、要約の戦略に高い多様性を示しており、元の記事とのフレーズレベルの類似度を測定したところ、完全に抽出的な要約から完全に生成的な要約まで、さまざまなタイプの要約が含まれていた。
• 人間評価の結果、ROUGEスコアだけでは要約品質を評価するには不十分であることが判明した。特に、高いROUGEスコアを示したモデル（例：抽出的オラクル）は、人間の評価者によって流暢さや一貫性が低く評価された。
• TextRankは、流暢さと一貫性に優れたため、人間評価で最高得点（5.0点中3.81点）を記録したが、一部のニューラルモデルほど情報量は多くなかった。
• Pointer-Generatorモデル（特にPointer-SおよびPointer-N）は、TextRankよりも情報量と関連性の観点で高い評価を受けたが、流暢さと一貫性では低いスコアとなった。
• 最先端のミックス戦略モデルをNewsroomでファインチューニングした結果、ドメイン外要約ベンチマークでの性能が向上した。これは、このデータセットがデータ集約型学習に価値をもたらすことを示している。