[論文レビュー] Reader-Aware Multi-Document Summarization: An Enhanced Model and The First Dataset

Piji Li, Lidong Bing+1 more|arXiv (Cornell University)|Aug 3, 2017

Natural Language Processing Techniques参考文献 3被引用数 3

ひとこと要約

本稿では、読者に配慮した複数文書要約（RA-MDS）のための最初のデータセットと、VAEに基づく拡張モデルRAVAESumを紹介する。本モデルは、ニュース記事と読者コメントを同時にモデル化することで要約の関連性を向上させる。コメント駆動の重要度推定を活用し、ベースラインMDS手法に比べて顕著なROUGEスコアの向上を達成した。これにより、読者からのフィードバックが要約品質を向上させることを示した。

ABSTRACT

We investigate the problem of reader-aware multi-document summarization (RA-MDS) and introduce a new dataset for this problem. To tackle RA-MDS, we extend a variational auto-encodes (VAEs) based MDS framework by jointly considering news documents and reader comments. To conduct evaluation for summarization performance, we prepare a new dataset. We describe the methods for data collection, aspect annotation, and summary writing as well as scrutinizing by experts. Experimental results show that reader comments can improve the summarization performance, which also demonstrates the usefulness of the proposed dataset. The annotated dataset for RA-MDS is available online.

研究の動機と目的

• 読者からのフィードバックや関心が反映されたユーザーのコメントを無視する多文書要約のギャップを埋める。
• ニュース文書と読者コメントを統合的にモデル化するニューラルフレームワークを開発し、重要度推定と要約の関連性を向上させる。
• 高品質で専門家がアノテートしたRA-MDS用データセットを構築する。これは同分野で最初のものである。
• コメントを統合することで、従来のMDS手法を上回る要約性能が得られるかどうかを評価する。

提案手法

• 変分オートエンコーダー（VAEs）を用いてVAESumモデルを拡張し、ニュース文と読者コメント文を共通の潜在表現に統合的に符号化する。
• ニュースとコメントのエンコーダー間でニューラルパラメータを共有することで、両方のソースからの重要なコンテンツを統合的に学習可能にする。
• 共通の潜在変数を用いてニュースおよびコメントの入力を再構築する統合的データ再構築目的関数を用いて、文の重要度を推定する。
• フレーズベースの圧縮統合最適化フレームワークを用い、高重要度の文から最終的な要約を生成する。
• コメントの重要度に応じて影響力を動的に調整するためのコメント重み推定モジュールを適用する。
• ガウス分布に基づくVAEアーキテクチャを採用し、ノイズをフィルタリングし、フォーマルなニュースとインフォーマルなコメントの両方の複雑な意味的関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 要約プロセスに読者コメントを統合することで、多文書要約の関連性と品質が向上するか？
• RQ2 共通の潜在表現を用いてニュースとコメントを統合的にモデリングする場合、ニュース単体をモデル化する場合と比較して、重要度推定にどのような影響を与えるか？
• RQ3 言語的多様性が著しいノイズが多く含まれるインフォーマルな読者コメントが、その言語的ばらつきにもかかわらず、要約性能の向上にどの程度寄与するか？
• RQ4 VAESumなどのベースラインMDSモデルと比較して、提案されたRAVAESumモデルはROUGEスコアおよび要約の整合性においてどのように差をつけるか？
• RQ5 読者コメントを統合した場合、要約内で強化される具体的な側面や用語は何か。また、コメントを無視するモデルとはどのように異なるか？

主な発見

• 読者コメントを統合したRAVAESumモデルは、ROUGE-SU4スコアが0.196を記録し、コメントを無視するRAVAESum-noCモデル（0.189）を有意に上回り、p値 < 0.05であった。
• コメントの統合により、ROUGE-1とROUGE-2スコアはそれぞれ0.006および0.009向上し、カバレッジとn-gramの被覆率が向上した。
• 本モデルは、ニュース記事に比べて頻出するが、その重要度が低く抑えられていた用語「Oculus」の重要度を的確に特定・強調した。
• RAVAESum (+C)モデルの上位10個の重要度の高い語には「oculus」と「virtual reality」が含まれており、これらはニュース単体モデルでは十分に捉えられていない読者の関心を反映している。
• 事例研究では、RAVAESumが外部要因（例：Oculus）に関連する文脈的に適切な文を要約に統合することで、コメントを無視するモデルに比べ、より包括的な要約を生成した。
• 本稿で提案されたRA-MDSデータセットは、専門家によるアノテーションが施されており、公開可能である。これは、読者に配慮した要約分野における最初のベンチマークであり、今後の研究を可能にする。