[论文解读] Modeling Ambiguity, Subjectivity, and Diverging Viewpoints in Opinion Question Answering Systems

Mengting Wan, Julian McAuley|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 15被引用 5

一句话总结

本文提出了一种用于观点问答的专家混合（MoE）框架，通过在每个问题上使用多个分歧答案进行训练，显式建模了模糊性和主观性。该方法利用来自 Amazon 的 800,000 个问题和 3,100,000 个答案，提升了二元问题和开放性问题的答案相关性，表明多答案训练相较于单标签基线模型能显著提升性能，尤其是在捕捉细微观点分布方面表现更优。

ABSTRACT

Product review websites provide an incredible lens into the wide variety of opinions and experiences of different people, and play a critical role in helping users discover products that match their personal needs and preferences. To help address questions that can't easily be answered by reading others' reviews, some review websites also allow users to pose questions to the community via a question-answering (QA) system. As one would expect, just as opinions diverge among different reviewers, answers to such questions may also be subjective, opinionated, and divergent. This means that answering such questions automatically is quite different from traditional QA tasks, where it is assumed that a single `correct' answer is available. While recent work introduced the idea of question-answering using product reviews, it did not account for two aspects that we consider in this paper: (1) Questions have multiple, often divergent, answers, and this full spectrum of answers should somehow be used to train the system; and (2) What makes a `good' answer depends on the asker and the answerer, and these factors should be incorporated in order for the system to be more personalized. Here we build a new QA dataset with 800 thousand questions---and over 3.1 million answers---and show that explicitly accounting for personalization and ambiguity leads both to quantitatively better answers, but also a more nuanced view of the range of supporting, but subjective, opinions.

研究动机与目标

• 为解决产品相关问答中主观性、模糊性和观点分歧的问题，传统问答系统假设存在单一正确答案。
• 开发一种监督学习框架，能够处理每个问题的多个潜在冲突答案，以反映现实世界中的观点多样性。
• 将个性化因素（如提问者和回答者的偏好）整合到观点问答中，以提升相关性和准确性。
• 构建并发布一个大规模观点问答数据集，包含 800,000 个问题和超过 3,100,000 个答案，全面捕捉社区反馈的全貌。
• 评估多答案训练是否相较于单答案基线，在二元问题和开放性问题上均能提升模型性能。

提出的方法

• 提出一种类似期望最大化（EM）的专家混合（MoE）框架，用于二元问题，通过为每个问题建模多个噪声标签（答案），将每个答案视为一个‘噪声专家’进行聚合。
• 通过在每个问题的所有可用答案上进行训练，将 MoE 框架扩展至开放性问题，使用相关性函数检索富含观点的评论片段。
• 引入多标签目标函数，优化答案分布的完整表示，而非单一真实标签，从而提升对主观性的鲁棒性。
• 将主观特征（如情感、极性）引入模型，评估其对性能的影响，特别是在开放性设置中的表现。
• 采用监督学习设置，模型在每个问题的所有答案上进行训练，以 AUC 作为主要评估指标，衡量排序正确性。
• 评估多种变体：s-MoE（单答案）、m-MoE（多答案）和 m-MoE-S（多答案 + 主观特征），比较其在不同产品类别中的性能表现。

实验结果

研究问题

• RQ1 与单答案基线相比，通过在每个问题上使用多个分歧答案进行训练，是否能提升观点问答系统的性能？
• RQ2 在开放性问题中，引入主观特征（如情感、极性）如何影响模型识别相关观点的能力？
• RQ3 多答案训练在多大程度上增强了模型捕捉观点分布的能力，特别是在主观或模糊的查询中？
• RQ4 所提出的框架是否在二元问题和开放性问题设置中均优于现有观点问答方法，尤其是在真实世界中观点多样性较高的场景下？
• RQ5 多答案训练带来的性能提升是否在不同产品类别中保持一致，这些类别具有不同的观点多样性？

主要发现

• 与单答案基线（s-MoE）相比，使用多答案训练（m-MoE）在所有产品类别中均显著提升了 AUC 性能。
• 在露台、草坪与园艺类别中，m-MoE 的 AUC 达到 0.8737，较 s-MoE 的 0.8640 提升了 0.97%。
• 在工具与家居维修类别中，m-MoE 的 AUC 达到 0.8760，高于 s-MoE 的 0.8676，表明在各领域中均保持一致的性能提升。
• 在大多数类别中，引入主观特征（m-MoE-S）并未提升性能，表明仅靠情感标签可能不如基于内容的特征更具预测力。
• 在健康与个人护理类别中，m-MoE 的 AUC 达到 0.8801，较 s-MoE 提升了 1.04%，表明在高度主观的领域中性能提升尤为显著。
• 结果表明，通过多答案训练建模模糊性，可实现更细致且准确的观点检索，尤其在开放性问题和主观性较强的问题类型中表现更优。