[論文レビュー] CQASUMM: Building References for Community Question Answering Summarization Corpora

Tanya Chowdhury, Tanmoy Chakraborty|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本稿では、Yahoo! Answers L6 コーパスから、最良の回答が要約として機能するスレッドを選択することで構築された、コミュニティ質問応答（CQA）要約のための、初めての大規模かつ公開可能なデータセット、CQASUMM を紹介する。本稿では、CQAフォーラムに存在する事実的および意見ベースのコンテンツの混合を特に考慮して設計された、新しいマルチドキュメント要約モデルであるOpinioSummを提案し、ROUGE-1で既存のベースラインを4.6%上回る性能を達成した。

ABSTRACT

Community Question Answering forums such as Quora, Stackoverflow are rich knowledge resources, often catering to information on topics overlooked by major search engines. Answers submitted to these forums are often elaborated, contain spam, are marred by slurs and business promotions. It is difficult for a reader to go through numerous such answers to gauge community opinion. As a result summarization becomes a prioritized task for CQA forums. While a number of efforts have been made to summarize factoid CQA, little work exists in summarizing non-factoid CQA. We believe this is due to the lack of a considerably large, annotated dataset for CQA summarization. We create CQASUMM, the first huge annotated CQA summarization dataset by filtering the 4.4 million Yahoo! Answers L6 dataset. We sample threads where the best answer can double up as a reference summary and build hundred word summaries from them. We treat other answers as candidates documents for summarization. We provide a script to generate the dataset and introduce the new task of Community Question Answering Summarization. Multi document summarization has been widely studied with news article datasets, especially in the DUC and TAC challenges using news corpora. However documents in CQA have higher variance, contradicting opinion and lesser amount of overlap. We compare the popular multi document summarization techniques and evaluate their performance on our CQA corpora. We look into the state-of-the-art and understand the cases where existing multi document summarizers (MDS) fail. We find that most MDS workflows are built for the entirely factual news corpora, whereas our corpus has a fair share of opinion based instances too. We therefore introduce OpinioSumm, a new MDS which outperforms the best baseline by 4.6% w.r.t ROUGE-1 score.

研究の動機と目的

• 非事実的CQA要約のための大規模かつアノテート済みデータセットの不足が、抽象的要約モデルの訓練を妨げているという問題に取り組む。
• Yahoo! Answers L6 コーパスから、最良の回答を参照要約として使用する再現可能で公開可能なデータセット（CQASUMM）を構築する。
• QuoraのAnswer Wikisに類似した、コミュニティ質問応答スレッド要約の自動生成という新しいタスクを導入する。
• 高ばらつきと事実・意見が混合した内容を示すCQA特有のコーパスにおいて、既存のマルチドキュメント要約技術の性能を評価・比較する。
• CQAの特性に合わせて、事実的および意見ベースのコンテンツを区別し、それぞれに適した処理を行うように設計された、新しいMDSモデルOpinioSummを開発・検証する。

提案手法

• 440万件のYahoo! Answersスレッドをフィルタリングし、最良の回答が参照要約として機能するものを抽出することで、CQASUMMに約100万スレッドを確保する。
• 最良の回答を参照要約とし、他のすべての回答を要約の候補文書として使用する。
• 抽出的要約のROUGE上限を推定するために、予算付き最大被覆問題（BMCP）のグリーディ近似を適用する。
• 質問の種別に応じて、文を事実的または意見ベースに分類し、それぞれに適した要約戦略を適用するようにOpinioSummを設計する。
• 文単位の埋め込み表現とヒューリスティックフィルタリングを活用し、スパム、差別的表現、プロモーションコンテンツを要約前処理で除去する。
• 再現可能性とコミュニティの活用を促進するため、データセットとコードを https://bitbucket.org/tanya14109/cqasumm で公開する。

実験結果

リサーチクエスチョン

• RQ1 既存のコミュニティフォーラムから、最良の回答を参照要約として使用することで、大規模かつ高品質なCQA要約データセットを構築できるか？
• RQ2 高ばらつきと事実・意見が混合した内容を示すCQAデータに対して、新聞記事向けに主に設計された標準的なマルチドキュメント要約技術は、どのように性能を示すか？（新聞コーパスと比較して）
• RQ3 既存のMDSモデルがCQA要約で失敗する理由は何か？CQAデータの構造的・意味的特徴のうち、その失敗に寄与する要因は何か？
• RQ4 CQAスレッドに存在する事実的および意見ベースのコンテンツの共存を明示的に処理できる新しいMDSモデルを設計できるか？
• RQ5 事実と意見を分離するようなモデル、例としてOpinioSummは、一般向けMDSベースラインと比較して、CQAデータにおける要約性能をどの程度向上できるか？

主な発見

• CQASUMMは、人間がアノテートした参照要約を含む、100万件を超える質問スレッドを有する、初めての大規模かつ公開可能なCQA要約データセットである。
• 最も性能の良かったベースラインMDS手法はCQASUMMデータセットでROUGE-1スコア38.2を達成したが、OpinioSummはこれを42.8まで向上させ、4.6%の絶対的向上を達成した。
• 主に新聞記事向けに設計された既存のMDSモデルは、CQAデータでは性能が著しく低い。その理由は、高ばらつき、矛盾する意見、および回答間の語彙的類似度の低さに起因する。
• OpinioSummは、事実的および意見ベースのコンテンツの差異を明示的にモデル化することで、すべてのベースラインを上回る性能を発揮した。これは、非事実的CQAスレッドにおいて極めて重要である。
• データセットとコードは公開されており、コミュニティフォーラム向けの抽象的要約モデルの今後の研究と開発を促進する再現可能な研究を可能にした。
• 本研究は、CQA要約が新聞要約とは明確に異なる問題であることを示した。これは、コミュニティ寄稿の多様性と非構造的性質ゆえに、専用のモデルとデータセットを必要とすることを意味する。