[论文解读] A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection

Tian Shi, Liuqing Li+2 more|arXiv (Cornell University)|Sep 18, 2020

Sentiment Analysis and Opinion Mining参考文献 54被引用 7

一句话总结

该论文提出了一种带有平滑自注意力（SSA）模块和高分辨率选择性映射（HRSMap）的自监督对比学习框架，用于无监督方面检测，显著提升了方面表征学习与映射准确率。该方法在七个基准数据集上优于近期的无监督及弱监督方法，生成的方面具有可解释性且覆盖度高，与标准类别高度一致。

ABSTRACT

Unsupervised aspect detection (UAD) aims at automatically extracting interpretable aspects and identifying aspect-specific segments (such as sentences) from online reviews. However, recent deep learning-based topic models, specifically aspect-based autoencoder, suffer from several problems, such as extracting noisy aspects and poorly mapping aspects discovered by models to the aspects of interest. To tackle these challenges, in this paper, we first propose a self-supervised contrastive learning framework and an attention-based model equipped with a novel smooth self-attention (SSA) module for the UAD task in order to learn better representations for aspects and review segments. Secondly, we introduce a high-resolution selective mapping (HRSMap) method to efficiently assign aspects discovered by the model to aspects of interest. We also propose using a knowledge distilling technique to further improve the aspect detection performance. Our methods outperform several recent unsupervised and weakly supervised approaches on publicly available benchmark user review datasets. Aspect interpretation results show that extracted aspects are meaningful, have good coverage, and can be easily mapped to aspects of interest. Ablation studies and attention weight visualization also demonstrate the effectiveness of SSA and the knowledge distilling method.

研究动机与目标

• 解决基于方面自动编码器（ABAE）在学习鲁棒表征以及将噪声模型发现的方面映射到有意义方面上的局限性。
• 通过将无监督方面检测形式化为自监督对比学习问题，以学习更优的片段与方面表征，从而提升无监督方面检测性能。
• 提出一种高分辨率选择性映射（HRSMap）策略，以提升模型推断的方面与预定义标准方面之间映射的准确性。
• 利用知识蒸馏技术，通过使用熵过滤的高置信度样本训练基于BERT的学生模型，进一步提升检测性能。

提出的方法

• 通过对比损失将方面嵌入与对应词嵌入对齐，将无监督方面检测形式化为自监督对比学习问题。
• 引入一种平滑自注意力（SSA）机制，促使注意力聚焦于短语和多个关键词，而非单个词，从而改善片段表征学习。
• 实施一种高分辨率选择性映射（HRSMap）方法，通过识别有意义的关键词聚类，将模型发现的方面映射到标准方面。
• 通过在教师模型蒸馏的软标签上训练基于BERT的学生模型，应用知识蒸馏，并在损失中引入熵过滤，以在训练期间优先处理高置信度样本。
• 采用温度缩放的交叉熵损失作为对比学习目标，以优化嵌入空间中方面嵌入与最近邻词之间的对齐。
• 在知识蒸馏损失中引入熵过滤，防止学生模型过度拟合于低置信度预测，从而提升泛化能力。

实验结果

研究问题

• RQ1 与传统基于自动编码器的方法相比，自监督对比学习是否能提升无监督方面检测中方面表征的质量？
• RQ2 所提出的平滑自注意力（SSA）机制是否在方面检测中产生比标准自注意力更鲁棒且更具可解释性的注意力模式？
• RQ3 与标准映射策略相比，高分辨率选择性映射（HRSMap）是否能显著提升模型推断方面与标准方面之间映射的准确性？
• RQ4 知识蒸馏在多大程度上提升了方面检测模型的性能，特别是在使用基于BERT的学生网络时？
• RQ5 平滑度因子λ和批量大小等超参数如何影响所提模型的稳定性和性能？

主要发现

• 所提出的结合SSA与HRSMap的自监督对比学习框架在七个基准数据集上达到最先进性能，其加权宏F1分数优于近期的无监督及弱监督方法。
• 消融实验表明，若用标准自注意力或平均池化替代SSA，性能会下降，证实了平滑注意力机制的有效性。
• 知识蒸馏中的熵过滤提升了模型泛化能力，消融结果表明过滤低置信度样本可带来可测量的性能增益。
• SSA中的平滑度因子λ在λ ≤ 1时达到稳定且最优性能，当λ值过大时性能下降。
• 批量大小对F1分数具有正向影响，直至批量大小为50时性能趋于稳定，因此选择50作为性能与计算成本之间的最优权衡。
• 注意力可视化结果表明，SSA能捕捉有意义的短语（如“volume scenes”、“great value, 499”），而非单个模糊词汇，从而增强可解释性与方面一致性。