[論文レビュー] TGSum: Build Tweet Guided Multi-Document Summarization Dataset

Ziqiang Cao, Chengyao Chen+4 more|arXiv (Cornell University)|Nov 26, 2015

Topic Modeling被引用数 6

ひとこと要約

本稿では、ツイートをソーシャルシグナルとして活用することで、大規模かつ高品質な複数文書要約データセットを自動的に構築するTGSumという手法を提案する。ハッシュタグを用いたトピッククラスタリングとハイパーリンクを用いたキーポイント同定により、ROUGEベースのカバレッジを最大化するように整数線形計画法（ILP）モデルを定式化し、文書および高品質なツイートから最適な文を抽出する。得られたデータセットは、教師あり要約モデルの性能を顕著に向上させる。

ABSTRACT

The development of summarization research has been significantly hampered by the costly acquisition of reference summaries. This paper proposes an effective way to automatically collect large scales of news-related multi-document summaries with reference to social media's reactions. We utilize two types of social labels in tweets, i.e., hashtags and hyper-links. Hashtags are used to cluster documents into different topic sets. Also, a tweet with a hyper-link often highlights certain key points of the corresponding document. We synthesize a linked document cluster to form a reference summary which can cover most key points. To this aim, we adopt the ROUGE metrics to measure the coverage ratio, and develop an Integer Linear Programming solution to discover the sentence set reaching the upper bound of ROUGE. Since we allow summary sentences to be selected from both documents and high-quality tweets, the generated reference summaries could be abstractive. Both informativeness and readability of the collected summaries are verified by manual judgment. In addition, we train a Support Vector Regression summarizer on DUC generic multi-document summarization benchmarks. With the collected data as extra training resource, the performance of the summarizer improves a lot on all the test sets. We release this dataset for further research.

研究の動機と目的

• 複数文書要約のための大規模かつ人手でアノテートされたリファレンス要約の不足を解消すること。
• Twitterでのソーシャルメディア反応を活用して、情報量が多く読みやすいリファレンス要約を自動的に収集する手法を開発すること。
• 教師あり要約モデルのトレーニングと評価を支援するスケーラブルなデータセットを構築すること。
• 自動収集された要約を追加のトレーニングデータとして組み込むことで、既存の要約モデルの性能を向上させること。

提案手法

• ツイート内のハッシュタグを活用して、ニュース記事をトピック固有の文書クラスタにグループ化する。
• ハイパーリンクを含むツイート（ニュース記事のキーポイントを強調する傾向がある）を分析することで、高重要度のコンテンツを同定する。
• キーポイントのROUGEベースのカバレッジを最大化するように、要約タスクを整数線形計画法（ILP）問題として定式化する。
• 文書と高品質なツイートの両方から要約文を抽出することで、読みやすさと包括性を確保する。
• ROUGE指標を用いてカバレッジを測定し、ILPソルバーが要約品質の理論的上限に近づくようにガイドする。
• 手動評価を通じて、生成された要約の情報量と読みやすさを検証する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュタグやハイパーリンクといったソーシャルメディアシグナルは、複数文書要約のリファレンス要約を自動的に生成するために効果的に利用できるか。
• RQ2 ILPに基づく文選択戦略は、要約の整合性とカバレッジを確保しつつ、どの程度ROUGEスコアを最大化できるか。
• RQ3 ツイートから自動収集された要約の組み込みは、教師あり要約モデルの性能をどの程度向上させるか。
• RQ4 提案手法は、深層学習モデルのトレーニングに適した大規模で多様性に富み、高品質なデータセットを生成するスケーラビリティを有しているか。

主な発見

• TGSumデータセットには、465の文書クラスタにまたがる4,658件のリンク付きツイートが含まれており、平均して1クラスタあたり23件のツイートが存在し、DUCデータセットを上回る規模である。
• 手動評価により、生成された要約が情報量が多く読みやすいことが確認され、文書と選別済みツイートの両方から得られた高品質なコンテンツが含まれている。
• SVR要約モデルに追加のトレーニングデータとしてTGSumを活用したところ、DUCテストセットのすべてで性能が向上し、02セットではROUGE-L F1スコアが30.32から32.15に上昇し、04セットでは36.64から36.64に維持された。
• TGSumデータの組み込みにより、すべてのテストセットで一貫した性能向上が得られ、モデルの汎化性能を向上させる有効性が示された。
• 本手法は、文書からの完全で洗練された文と、ツイートからの高重要度コンテンツを選択することで、抽出的要約と生成的要約の要素を効果的にバランスさせた。