[论文解读] Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching

Yang Xiao, Madian Khabsa+6 more|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 39被引用 4

一句话总结

该论文提出了一种用于社区问答选择（CQA）的对抗性训练框架，通过使用生成模型采样具有挑战性的负样本以缓解标签不平衡问题。该方法通过迭代优化判别器和生成器，提升了分类性能，在仅使用文本特征的情况下，于SemEval 2017上达到最先进水平，并在SemEval 2016上表现强劲。

ABSTRACT

Community-based question answering (CQA) websites represent an important source of information. As a result, the problem of matching the most valuable answers to their corresponding questions has become an increasingly popular research topic. We frame this task as a binary (relevant/irrelevant) classification problem, and present an adversarial training framework to alleviate label imbalance issue. We employ a generative model to iteratively sample a subset of challenging negative samples to fool our classification model. Both models are alternatively optimized using REINFORCE algorithm. The proposed method is completely different from previous ones, where negative samples in training set are directly used or uniformly down-sampled. Further, we propose using Multi-scale Matching which explicitly inspects the correlation between words and ngrams of different levels of granularity. We evaluate the proposed method on SemEval 2016 and SemEval 2017 datasets and achieves state-of-the-art or similar performance.

研究动机与目标

• 为解决CQA数据集中标签严重不平衡的问题，其中相关答案仅占总样本的2.8–9.3%。
• 通过用对抗生成的困难负样本替代均匀或随机负采样，提升CQA分类器的鲁棒性和准确性。
• 通过显式建模不同粒度（词、n-gram及层次化表示）之间的相关性，增强匹配能力。
• 在不依赖答案位置或用户活跃度等元信息的情况下，实现最先进性能。

提出的方法

• 训练一个生成模型 $G$，以生成在语义上接近相关样本的困难负样本对，从而在判别器训练过程中增强梯度信号。
• 判别器 $D$ 通过REINFORCE算法进行训练，根据预测置信度获得奖励，以区分样本对是否相关。
• 通过交替使用REINFORCE优化生成器和判别器，使生成器逐步学习生成更具挑战性的负样本。
• 通过深度卷积神经网络（CNN）实现多尺度匹配，从问题和答案中提取层次化表示，支持词对词、词对n-gram及n-gram对n-gram的比较。
• 通过前馈神经网络聚合多粒度层级的匹配得分，生成最终的相关性评分。
• 该框架避免使用RNN或注意力机制，转而采用基于CNN的层次化特征提取方法，实现高效多粒度匹配。

实验结果

研究问题

• RQ1 通过学习的生成器进行对抗性训练，能否通过聚焦于困难负样本，提升CQA选择性能？
• RQ2 在不同粒度上（如词和n-gram）进行多尺度匹配，如何影响CQA中的相关性分类？
• RQ3 纯文本模型能否超越依赖答案位置或用户活跃度等元信息的方法？
• RQ4 与更平衡的数据集（如SemEval 2016）相比，对抗性训练在高度不平衡的数据集（如SemEval 2017）上是否带来更大收益？

主要发现

• 所提方法在SemEval 2017数据集上取得了最高的MAP（53.38）和MRR（60.64），在所有提交结果中排名第一。
• 在SemEval 2016数据集上，该方法取得了MAP 49.25和MRR 54.89，排名第二，优于使用元信息的方法。
• 对抗性训练与多尺度匹配结合后，显著提升了性能，在SemEval 2017上MAP提升4.29分，MRR提升5.39分。
• 生成器成功生成了语义上合理且对判别器具有挑战性的负样本，证明了有效困难样本挖掘的能力。
• 即使不使用元信息，该模型仍达到最先进性能，证明了仅使用文本建模结合对抗性训练的有效性。
• 消融实验表明，仅使用生成器（G）进行对抗性训练会降低性能（MAP: 36.31），证实了判别器（D）与生成器联合训练的必要性。