[论文解读] Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering

Yang Deng, Wai Lam+5 more|arXiv (Cornell University)|Nov 22, 2019

Topic Modeling参考文献 45被引用 4

一句话总结

本文提出了一种联合学习框架 ASAS，可在社区问答（CQA）中同时执行答案选择与生成式答案摘要。通过利用问题-答案相关性来指导摘要生成，并使用摘要来减少长答案中的噪声，该模型在两项任务上均达到最先进性能，并在使用新构建的大规模数据集 WikiHowQA 的低资源 CQA 设置下展现出强大的迁移能力。

ABSTRACT

Community question answering (CQA) gains increasing popularity in both academy and industry recently. However, the redundancy and lengthiness issues of crowdsourced answers limit the performance of answer selection and lead to reading difficulties and misunderstandings for community users. To solve these problems, we tackle the tasks of answer selection and answer summary generation in CQA with a novel joint learning model. Specifically, we design a question-driven pointer-generator network, which exploits the correlation information between question-answer pairs to aid in attending the essential information when generating answer summaries. Meanwhile, we leverage the answer summaries to alleviate noise in original lengthy answers when ranking the relevancy degrees of question-answer pairs. In addition, we construct a new large-scale CQA corpus, WikiHowQA, which contains long answers for answer selection as well as reference summaries for answer summarization. The experimental results show that the joint learning method can effectively address the answer redundancy issue in CQA and achieves state-of-the-art results on both answer selection and text summarization tasks. Furthermore, the proposed model is shown to be of great transferring ability and applicability for resource-poor CQA tasks, which lack of reference answer summaries.

研究动机与目标

• 为解决 CQA 中众包答案的冗余性和过长问题，这些问题会妨碍准确的答案选择和用户理解。
• 通过引入问题驱动的上下文信息，改进生成式答案摘要，以生成更相关且更简洁的摘要。
• 通过使用生成的摘要作为相关性代理，减少答案选择过程中长答案中的噪声。
• 实现对缺乏参考摘要的资源贫乏 CQA 任务的有效迁移学习。
• 构建一个新的大规模 CQA 数据集 WikiHowQA，以支持答案选择与摘要生成任务。

提出的方法

• 提出一种问题驱动的指针-生成网络，通过在问题-答案对上使用注意力机制来指导生成式摘要的生成。
• 设计一种联合学习框架，利用答案摘要来优化问题-答案对的相关性评分，从而减少长答案带来的噪声。
• 采用双流机制：一者用于使用问题感知注意力生成摘要，另一者用于基于摘要相关性对答案进行排序。
• 提出一种迁移学习策略，对在 WikiHowQA 上预训练的模型进行微调，并将其适配到缺乏参考摘要的低资源 CQA 领域。
• 使用一种新颖的损失函数，联合优化答案选择准确率与摘要质量。
• 利用 WikiHowQA 数据集，该数据集包含长答案和人工标注的参考摘要，用于训练与评估。

实验结果

研究问题

• RQ1 与独立模型相比，答案选择与生成式摘要的联合学习是否能提升两项任务的性能？
• RQ2 问题感知摘要在答案选择过程中，能否有效减少长答案中的噪声？
• RQ3 在缺乏参考摘要的情况下，基于大规模 CQA 数据集（如 WikiHowQA）预训练的模型在低资源 CQA 领域中的迁移能力有多强？
• RQ4 使用生成摘要作为相关性代理，是否能提升长答案上的答案选择准确率？
• RQ5 在摘要质量和相关性方面，该联合模型与抽取式和生成式摘要基线相比表现如何？

主要发现

• 所提出的 ASAS 模型在答案选择任务上达到最先进性能，在 WikiHowQA 数据集上超越了现有最先进方法。
• 在 WikiHowQA 基准测试中，ASAS 在 Travel 领域的答案选择准确率达到 54.8%，超过最佳基线方法 COALA（52.9%）。
• 定性分析显示，该模型生成的摘要比抽取式（如 NeuralSum）和生成式（如 PGN）基线更精确、更简洁。
• 在低资源设置下，经过微调的 ASAS 模型（ASAS/Yes）在 Travel 领域达到 56.5% 的准确率，比最佳基线 COALA（52.7%）高出 3.8 个百分点。
• 即使未进行微调，ASAS（Finetune/No）在所有领域均表现出具有竞争力的结果，展现出强大的零样本迁移能力。
• 联合学习框架显著降低了答案冗余的影响，同时提升了答案选择准确率与摘要质量。