[论文解读] Learning to Answer Subjective, Specific Product-Related Queries using Customer Reviews by Adversarial Domain Adaptation

Manirupa Das, Zhen Wang+4 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 23被引用 2

一句话总结

本文提出了一种对抗性域自适应模型，利用未标注的客户评论来回答主观性、产品特定的问题，通过学习域不变特征，其性能优于监督基线方法。该模型在跨域问题-评论对分类任务中达到77.17%的准确率，与完全监督方法相当，但无需使用任何标注的评论数据。

ABSTRACT

Online customer reviews on large-scale e-commerce websites, represent a rich and varied source of opinion data, often providing subjective qualitative assessments of product usage that can help potential customers to discover features that meet their personal needs and preferences. Thus they have the potential to automatically answer specific queries about products, and to address the problems of answer starvation and answer augmentation on associated consumer Q & A forums, by providing good answer alternatives. In this work, we explore several recently successful neural approaches to modeling sentence pairs, that could better learn the relationship between questions and ground truth answers, and thus help infer reviews that can best answer a question or augment a given answer. In particular, we hypothesize that our adversarial domain adaptation-based approach, due to its ability to additionally learn domain-invariant features from a large number of unlabeled, unpaired question-review samples, would perform better than our proposed baselines, at answering specific, subjective product-related queries using reviews. We validate this hypothesis using a small gold standard dataset of question-review pairs evaluated by human experts, significantly surpassing our chosen baselines. Moreover, our approach, using no labeled question-review sentence pair data for training, gives performance at par with another method utilizing labeled question-review samples for the same task.

研究动机与目标

• 通过自动检索相关产品评论来回答主观性问题，解决电子商务问答论坛中的答案匮乏与答案增强问题。
• 克服标注的问题-答案对与未标注的问题-评论对之间的域偏移问题，后者来自不同的语言分布。
• 开发一种最小化监督方法，仅依赖标注的问题-答案对作为弱监督信号，并利用大量未标注的评论。
• 实现端到端学习相关评论句子作为答案替代方案，而无需显式标注评论的相关性。
• 证明域对抗性训练能够有效对齐问题-答案对与问题-评论对的表示，尽管二者分布不同。

提出的方法

• 将域对抗性神经网络（DANN）框架适配于共享嵌入空间中，联合分类问题-答案对与问题-评论对。
• 训练一个句子对分类模型（如ABCNN、RTE），以判断某条评论句子是否回答给定问题，使用标注的问题-答案对作为源域数据。
• 引入域判别器以最小化域特定特征，迫使句子编码器学习问题-答案对与问题-评论对之间的域不变表示。
• 在对抗性训练过程中，使用大规模未标注的电商平台问题-评论对作为目标域数据，以提升泛化能力。
• 在训练过程中仅使用标注的问题-答案对进行微调，同时利用海量未标注评论提升零样本迁移至新域的泛化能力。
• 在反向传播过程中应用梯度反转，使域判别器能够指导句子编码器生成域无关的特征。

实验结果

研究问题

• RQ1 对抗性域自适应能否有效弥合标注问题-答案对与未标注问题-评论对在产品问答中的分布差距？
• RQ2 在仅使用标注问题-答案对、无任何标注评论数据的情况下，模型在识别新主观产品查询相关评论方面的泛化能力如何？
• RQ3 与监督基线方法相比，引入大量未标注评论是否能提升跨域问题-评论对分类的性能？
• RQ4 所提方法的性能与需要标注问题-评论对的完全监督模型相比如何？
• RQ5 当评论未显式标注相关性时，模型是否仍能学习识别相关评论句子作为答案替代？

主要发现

• 基于DANN的模型在跨域问题-评论对分类任务中达到77.17%的准确率，显著优于ABCNN（64.0%）和RTE（66.67%）等基线模型。
• 该模型在F1分数上（56.23% vs. 57.05%）超越了完全监督方法QAR-Net，同时在精确率上也更高（64.11% vs. 53.85%），且仅使用标注的问题-答案对，未使用任何标注评论。
• 域自适应显著提升了目标域评估性能，跨数据集测试中准确率从无自适应时的50.11%提升至77.17%（有自适应）。
• 模型在未见域上泛化良好，对抗性训练后目标域测试集性能显著提升，证明了有效的域泛化能力。
• 定性分析显示，模型能正确识别真实查询的相关评论句子，如表5所示示例中，即使无评论相关性的显式监督，也能识别出恰当的回答。
• 消融实验证实，域自适应是性能提升的关键因素，该模型在所有类别（包括电子产品、汽车、婴儿用品）中均优于所有基线模型。