[论文解读] CQASUMM: Building References for Community Question Answering Summarization Corpora

Tanya Chowdhury, Tanmoy Chakraborty|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 23被引用 5

一句话总结

本论文提出了CQASUMM，这是首个大规模、公开可用的社区问答（CQA）摘要数据集，基于Yahoo! Answers L6语料库构建，通过筛选最佳答案可作为参考摘要的线程而得。该研究还提出了OpinioSumm，一种新型多文档摘要模型，在事实与观点混合内容的CQA论坛中，其ROUGE-1得分相比现有基线模型提升了4.6%，表现更优。

ABSTRACT

Community Question Answering forums such as Quora, Stackoverflow are rich knowledge resources, often catering to information on topics overlooked by major search engines. Answers submitted to these forums are often elaborated, contain spam, are marred by slurs and business promotions. It is difficult for a reader to go through numerous such answers to gauge community opinion. As a result summarization becomes a prioritized task for CQA forums. While a number of efforts have been made to summarize factoid CQA, little work exists in summarizing non-factoid CQA. We believe this is due to the lack of a considerably large, annotated dataset for CQA summarization. We create CQASUMM, the first huge annotated CQA summarization dataset by filtering the 4.4 million Yahoo! Answers L6 dataset. We sample threads where the best answer can double up as a reference summary and build hundred word summaries from them. We treat other answers as candidates documents for summarization. We provide a script to generate the dataset and introduce the new task of Community Question Answering Summarization. Multi document summarization has been widely studied with news article datasets, especially in the DUC and TAC challenges using news corpora. However documents in CQA have higher variance, contradicting opinion and lesser amount of overlap. We compare the popular multi document summarization techniques and evaluate their performance on our CQA corpora. We look into the state-of-the-art and understand the cases where existing multi document summarizers (MDS) fail. We find that most MDS workflows are built for the entirely factual news corpora, whereas our corpus has a fair share of opinion based instances too. We therefore introduce OpinioSumm, a new MDS which outperforms the best baseline by 4.6% w.r.t ROUGE-1 score.

研究动机与目标

• 为解决非事实型CQA摘要缺乏大规模、人工标注数据集的问题，该问题阻碍了生成式摘要模型的训练进展。
• 从Yahoo! Answers L6语料库中构建一个可复现、公开可用的数据集（CQASUMM），其中最佳答案被用作参考摘要。
• 提出一项新任务：自动生成社区问答线程摘要，类似于Quora的Answer Wikis。
• 在具有高方差和事实-观点混合内容的CQA特定语料库上，评估并比较现有多种文档摘要技术的表现。
• 开发并验证OpinioSumm，一种专为CQA设计的MDS模型，通过区分并分别处理事实性与观点性内容。

提出的方法

• 从440万条Yahoo! Answers线程中筛选，仅保留最佳答案可作为参考摘要的线程，最终得到约100万条线程用于CQASUMM。
• 将最佳答案用作参考摘要，其余所有答案作为摘要的候选文档。
• 应用预算最大覆盖问题（BMCP）的贪心近似方法，估算抽取式摘要的ROUGE上限。
• 设计OpinioSumm，使其能够识别句子为事实性或观点性，并根据问题类型分别应用不同的摘要策略。
• 利用句子级嵌入表示，并结合启发式过滤方法，在摘要生成前去除垃圾信息、侮辱性用语及推广内容。
• 在https://bitbucket.org/tanya14109/cqasumm发布数据集与代码，以确保研究可复现性及社区采纳。

实验结果

研究问题

• RQ1 能否基于现有社区论坛，利用最佳答案作为参考摘要，构建大规模、高质量的CQA摘要数据集？
• RQ2 标准多文档摘要技术在CQA数据上的表现如何？与新闻语料库相比，CQA数据具有高方差和事实-观点混合内容，其表现差异为何？
• RQ3 为何现有MDS模型在CQA摘要任务中表现不佳？CQA数据的哪些结构或语义特征导致了这种失败？
• RQ4 能否设计一种新型MDS模型，明确处理CQA线程中事实与观点内容共存的问题？
• RQ5 与通用MDS基线模型相比，像OpinioSumm这样明确区分事实与观点的模型，在CQA数据摘要性能上能提升多少？

主要发现

• CQASUMM是首个大规模、公开可用的CQA摘要数据集，包含超过100万条问题线程，配有经人工标注的参考摘要。
• 表现最佳的基线MDS方法在CQASUMM数据集上的ROUGE-1得分为38.2，而OpinioSumm将其提升至42.8，实现了4.6%的绝对提升。
• 现有MDS模型（主要针对新闻语料库设计）在CQA数据上表现欠佳，原因包括高方差、观点矛盾以及答案间词汇重叠度低。
• OpinioSumm通过显式建模事实性与观点性内容之间的区别，在非事实型CQA线程中显著优于所有基线模型，该特性至关重要。
• 数据集与代码已公开发布，支持可复现研究，并推动未来在社区论坛中生成式摘要模型的发展。
• 本研究证明，CQA摘要与新闻摘要属于不同问题，由于社区贡献内容的多样性与非结构化特性，需专门设计模型与数据集。