[論文レビュー] Massive Multi-Document Summarization of Product Reviews with Weak Supervision

Ori Shapira, Ran Levy|arXiv (Cornell University)|Jul 22, 2020

Topic Modeling参考文献 30被引用数 10

ひとこと要約

本稿では、製品レビュー向けに大規模な複数文書要約（MMDS）を導入し、数千件のレビューをクラスタリングし、メドイドに基づく代表要約を用いて学習する弱教師ありフレームワークを提案する。この手法はROUGEスコアを著しく向上させ、自然言語としての質も高く、123製品のデータセットにおいて自動評価および人的評価の両面でベースラインを上回る結果を達成した。

ABSTRACT

Product reviews summarization is a type of Multi-Document Summarization (MDS) task in which the summarized document sets are often far larger than in traditional MDS (up to tens of thousands of reviews). We highlight this difference and coin the term "Massive Multi-Document Summarization" (MMDS) to denote an MDS task that involves hundreds of documents or more. Prior work on product reviews summarization considered small samples of the reviews, mainly due to the difficulty of handling massive document sets. We show that summarizing small samples can result in loss of important information and provide misleading evaluation results. We propose a schema for summarizing a massive set of reviews on top of a standard summarization algorithm. Since writing large volumes of reference summaries needed for advanced neural network models is impractical, our solution relies on weak supervision. Finally, we propose an evaluation scheme that is based on multiple crowdsourced reference summaries and aims to capture the massive review collection. We show that an initial implementation of our schema significantly improves over several baselines in ROUGE scores, and exhibits strong coherence in a manual linguistic quality assessment.

研究の動機と目的

• 従来のMDSシステムでは処理できない数万件もの製品レビューを要約する課題に対処すること。
• 人為的要約が大規模データセットでは現実的でないことを踏まえ、実行可能でスケーラブルな弱教師あり学習スキームを提案すること。
• 各レビュー群に対して複数のクラウドソーシングによる基準要約を用いて、評価の堅牢性と代表性を確保する評価スキームを開発すること。
• 小規模なサンプル要約が顕著な情報を損なう原因となり、誤った評価結果をもたらす可能性があることを示すこと。

提案手法

• 埋め込みに基づくクラスタリングを用いて、大規模な製品レビュー群を互いに排他的で均質なグループに分割する。
• 各クラスタから、最も中心的なレビュー（メドイド）を抽出し、そのクラスタに属する全レビューの弱い基準要約として使用する。
• ニューラル的抽象的要約モデルを（クラスタ, メドイド）ペアで学習させ、膨大な入力長にわたる一般化を可能にする。
• 要約パイプラインでは、入力レビューに対しても同様のクラスタリングを適用し、各クラスタの要約を生成した後、階層的に統合して最終的な要約を構築する。
• ROUGEベースの指標におけるバイアスを低減するため、各サブセットに対して複数のクラウドソーシングによる基準要約を用いて評価を行う。
• フレームワークはChenとBansal（2018）のFASモデルの上に実装されており、全レビュー集に対してエンドツーエンドの学習と推論が可能になった。

実験結果

リサーチクエスチョン

• RQ1 完全な基準要約が作成不可能な大規模な製品レビュー集において、弱教師ありフレームワークが抽象的要約モデルを効果的に学習できるか？
• RQ2 レビューの少数サンプルからの要約は、重要な情報を損なう原因となり、評価結果にバイアスをもたらすのか？
• RQ3 メドイドに基づく代表的レビューは、大規模データセットにおける高品質な要約モデルの学習に有効な弱教師信号として機能するか？
• RQ4 階層的クラスタリングおよび要約パイプラインは、最終要約の整合性と品質にどのような影響を与えるか？
• RQ5 各サブセットに対して複数のクラウドソーシングによる基準要約を用いることで、単一の人為要約よりも堅牢で代表的な評価が可能になるか？

主な発見

• 提案されたMMDSフレームワークは、ROUGE-2およびROUGE-Lスコアにおいて複数のベースラインを著しく上回り、p値 ≤ 0.05の有意差を示した。
• システムの要約は高い言語的品質を達成しており、文法的正しさ（平均3.73）、冗長性の低さ（3.55）、参照明確性（3.86）、的を射た要約（3.86）、構造的整合性と一貫性（3.73）の各指標で高いスコアを記録した。
• 要約の的を射た要約性と構造的整合性において、Medoid-𝐹1ベースラインを上回った。これは、モデル生成要約を用いても、物語的整合性が優れていることを示している。
• 人的評価により、要約は読みやすく一貫性があり、特に的を射た要約性と構造的品質において、人為要約とほぼ同等の性能を示した。
• モデルクラッシュや学習不安定性の兆候は観察されず、最大数万件のレビューを含む大規模なレビュー集合に対しても、正常に処理できた。
• 本アプローチは、家電、カメラ、おもちゃ、書籍、DVDなど多様な製品カテゴリで有効であったが、メモリ制限のため音楽製品ではFASモデルが失敗した。