[论文解读] Distance Metric Learning for Aspect Phrase Grouping

Shufeng Xiong, Yue Zhang+2 more|arXiv (Cornell University)|Apr 29, 2016

Sentiment Analysis and Opinion Mining参考文献 46被引用 10

一句话总结

本文提出了一种基于注意力机制的深度度量学习方法（ADDML），用于方面短语分组，通过注意力机制建模上下文-短语交互关系，并学习非线性特征子空间以提升聚类性能。在四个数据集上的实验表明，ADDML优于当前最先进基线方法，在平均纯度为0.51、熵为1.74的情况下表现更优。

ABSTRACT

Aspect phrase grouping is an important task in aspect-level sentiment analysis. It is a challenging problem due to polysemy and context dependency. We propose an Attention-based Deep Distance Metric Learning (ADDML) method, by considering aspect phrase representation as well as context representation. First, leveraging the characteristics of the review text, we automatically generate aspect phrase sample pairs for distant supervision. Second, we feed word embeddings of aspect phrases and their contexts into an attention-based neural network to learn feature representation of contexts. Both aspect phrase embedding and context embedding are used to learn a deep feature subspace for measure the distances between aspect phrases for K-means clustering. Experiments on four review datasets show that the proposed method outperforms state-of-the-art strong baseline methods.

研究动机与目标

• 为解决方面短语分组中多义性和上下文依赖性问题。
• 通过显式建模方面短语与其上下文词之间的交互关系，提升聚类性能。
• 学习一个非线性特征子空间，使得组内方面短语距离相对于组间距离最小化。
• 利用远程监督与负采样训练孪生神经网络以实现度量学习。
• 在标准基准数据集上超越现有无监督与半监督基线方法。

提出的方法

• 从评论语料库中利用远程监督自动生成方面短语样本对。
• 使用基于注意力的神经网络，通过根据上下文词与目标方面短语的相关性进行加权，计算上下文感知表示。
• 将方面短语嵌入与上下文表示拼接，形成联合特征向量。
• 应用两层多层感知机（MLP）学习非线性变换，映射到用于度量学习的深层特征子空间。
• 使用负采样进行模型训练：正样本对为包含相同方面短语的句子；负样本对基于语义词典距离构造为不兼容的短语对。
• 通过反向传播优化模型，最大化正样本对与负样本对之间距离的边际差，受马氏距离度量学习启发。

实验结果

研究问题

• RQ1 注意力机制能否有效建模上下文词与特定方面短语之间的相关性？
• RQ2 通过深度度量学习学习非线性特征子空间是否能提升聚类性能，相较于传统的词袋方法？
• RQ3 负采样相似性阈值的选择如何影响模型性能？
• RQ4 基于语义词典的远程监督与负采样能否有效训练用于方面短语分组的孪生网络？
• RQ5 在标准基准上，所提出的ADDML方法与强基线相比，在纯度与熵方面表现如何？

主要发现

• ADDML在四个评论数据集上平均纯度达0.51，熵为1.74，优于此前最佳结果（纯度0.43，熵2.02）。
• 注意力机制显著提升了上下文表示质量，能够有效区分与目标方面短语相关与不相关的词语。
• 基于MLP的非线性变换层增强了度量学习能力，实现了组间与组内方面短语对之间更好的分离。
• 负采样相似性阈值设定为0.3，因更高阈值导致性能下降，表明负样本数量与质量之间存在权衡。
• ADDML在包括CNN、RNN及基于注意力的模型在内的强基线中表现一致更优，证明了联合短语-上下文表示与度量学习的有效性。
• 该模型在多样化领域（如MP3与餐厅评论）中表现出强鲁棒性，尤其在复杂、依赖上下文的场景中表现突出。