[论文解读] Mining Compatible/Incompatible Entities from Question and Answering via Yes/No Answer Classification using Distant Label Expansion

Hu Xu, Lei Shu+2 more|arXiv (Cornell University)|Dec 14, 2016

Expert finding and Q&A systems参考文献 15被引用 6

一句话总结

本文提出一种两阶段框架，无需人工标注数据，即可从产品社区问答（PCQA）中的是/否问题中挖掘兼容与不兼容产品。该方法通过PU学习实现远程标签扩展，以识别隐式的是/否答案极性，显著提升了兼容性标注效果，相较于显式答案，分类准确率提升至约70%（在四种产品上）。

ABSTRACT

Product Community Question Answering (PCQA) provides useful information about products and their features (aspects) that may not be well addressed by product descriptions and reviews. We observe that a product's compatibility issues with other products are frequently discussed in PCQA and such issues are more frequently addressed in accessories, i.e., via a yes/no question "Does this mouse work with windows 10?". In this paper, we address the problem of extracting compatible and incompatible products from yes/no questions in PCQA. This problem can naturally have a two-stage framework: first, we perform Complementary Entity (product) Recognition (CER) on yes/no questions; second, we identify the polarities of yes/no answers to assign the complementary entities a compatibility label (compatible, incompatible or unknown). We leverage an existing unsupervised method for the first stage and a 3-class classifier by combining a distant PU-learning method (learning from positive and unlabeled examples) together with a binary classifier for the second stage. The benefit of using distant PU-learning is that it can help to expand more implicit yes/no answers without using any human annotated data. We conduct experiments on 4 products to show that the proposed method is effective.

研究动机与目标

• 为解决在产品社区问答（PCQA）中，通过是/否问题识别兼容与不兼容产品这一挑战，其中兼容性常通过是/否问题进行讨论。
• 开发一种方法，从问题中提取互补实体（如兼容设备），而无需依赖人工标注数据。
• 对是/否答案的极性进行分类——即‘是’、‘否’或‘中性’，尤其关注未被显式标记为‘是’或‘否’的隐式极性。
• 利用显式答案开头（如‘Yes’、‘No’）作为远程监督信号，扩展至具有相同极性的隐式答案，从而降低标注成本。
• 通过结合PU学习与二分类方法，提升兼容性标注能力，实现在大规模场景下对兼容关系的可扩展挖掘。

提出的方法

• 两阶段框架：首先，通过依存句法分析和基于规则的方法，利用互补实体识别（CER）从问题中提取目标实体和互补实体。
• 其次，通过是/否答案分类，基于答案极性分配兼容性标签（兼容、不兼容、未知）。
• 远程标签扩展利用答案开头显式出现的‘Yes’或‘No’作为远程标签，识别具有相同极性的相似隐式答案。
• 应用PU学习（正样本-未标记样本）框架，利用未标记数据扩展正样本（即‘是’/‘否’答案），而无需负样本。
• 在扩展后的正样本上训练二分类SVM分类器，以区分‘是’与‘否’极性，而中性答案则通过PU学习设置处理。
• 该方法结合CER结果与基于PU学习的答案分类，生成最终的兼容性标签，特征使用二元语法（bigrams）

实验结果

研究问题

• RQ1 能否在无需人工标注数据的情况下，有效识别PCQA中的隐式是/否答案？
• RQ2 如何利用显式答案开头（如‘Yes’、‘No’）作为远程监督信号，扩展至具有相同极性的隐式答案？
• RQ3 PU学习能否通过利用未标记答案和显式正样本，有效识别更多兼容/不兼容实体？
• RQ4 所提出方法在答案极性分类与兼容关系提取方面，相较于基线方法表现如何？
• RQ5 该框架在PCQA中，相较于显式答案检测，能在多大程度上提升兼容性挖掘效果？

主要发现

• 所提方法在分类是/否/中性答案的整体准确率约为70%，优于Yes/No、Sentiment Parser和One-Class SVM等基线方法。
• PU学习在小规模训练集下仍显著优于One-Class SVM，得益于对未标记数据的有效利用。
• CER6K方法在实体识别技术中达到最高精确率与召回率，优于NP分块器和UIUC NER，因其对PCQA中常见小写拼写错误具有更强鲁棒性。
• 情感分析基线在负面意见识别上表现劣于Yes/No基线，表明仅依赖情感难以准确捕捉答案极性。
• 三分类SVM基线相较于Yes/No基线改进甚微，表明McAuley和Yang（2016）原始预测结果已多为显式答案，未能捕捉大量隐式情况。
• 该框架成功利用远程监督扩展了隐式是/否答案，实现了无需人工标注即可挖掘更多兼容关系。