[论文解读] Distance Based Source Domain Selection for Sentiment Classification

Lex Razoux Schultz, Marco Loog+1 more|arXiv (Cornell University)|Aug 28, 2018

Sentiment Analysis and Opinion Mining参考文献 32被引用 9

一句话总结

本文提出了一种基于距离的源域选择方法，用于情感分类，该方法使用分布距离度量（如地球移动距离和Kullback-Leibler散度）的线性组合来预测并选择最优源域。与随机选择相比，该方法显著降低了跨域分类误差，尤其在异质数据集中表现更优，并且还能通过选择高潜力子集来过滤冗余域。

ABSTRACT

Automated sentiment classification (SC) on short text fragments has received increasing attention in recent years. Performing SC on unseen domains with few or no labeled samples can significantly affect the classification performance due to different expression of sentiment in source and target domain. In this study, we aim to mitigate this undesired impact by proposing a methodology based on a predictive measure, which allows us to select an optimal source domain from a set of candidates. The proposed measure is a linear combination of well-known distance functions between probability distributions supported on the source and target domains (e.g. Earth Mover's distance and Kullback-Leibler divergence). The performance of the proposed methodology is validated through an SC case study in which our numerical experiments suggest a significant improvement in the cross domain classification error in comparison with a random selected source domain for both a naive and adaptive learning setting. In the case of more heterogeneous datasets, the predictability feature of the proposed model can be utilized to further select a subset of candidate domains, where the corresponding classifier outperforms the one trained on all available source domains. This observation reinforces a hypothesis that our proposed model may also be deployed as a means to filter out redundant information during a training phase of SC.

研究动机与目标

• 解决情感分类中的领域偏移问题，即源域与目标域在情感表达上存在差异。
• 通过从多个候选源域中选择最合适的源域，提升跨域分类性能，且无需目标数据的标注。
• 构建一个预测模型，仅利用源域和目标域的分布统计信息来估计跨域分类误差。
• 实现在无监督环境下自动选择源域，减少对人工选择或全量数据训练的依赖。
• 探索该方法作为过滤机制的潜力，以在训练过程中排除冗余或低性能的源域。

提出的方法

• 将预测度量定义为源域与目标域概率分布之间已知距离函数的线性组合，包括地球移动距离和Kullback-Leibler散度。
• 将组合距离度量用作代理，以预测在每个候选源域上训练的分类器的预期跨域分类误差。
• 在固定（朴素）和自适应学习设置中应用该方法，其中在选择前对源数据进行重加权或转换。
• 提出一种称为CMEK的模型，根据其预测泛化误差对源域进行排序，优先选择与目标域分布差异最小的域。
• 将模型扩展为支持多源域的加权组合，使预测误差较低的域具有更高的影响力。
• 利用该模型在全量训练所有候选源域表现不佳时选择源域子集，尤其在异质数据设置中表现更优。

实验结果

研究问题

• RQ1 基于距离的预测度量能否可靠估计在给定源域上训练的情感分类器的跨域分类误差？
• RQ2 基于与目标域的分布相似性选择源域，是否能获得比随机选择更低的分类误差？
• RQ3 通过过滤冗余或不相似的域，该方法能否优于在所有可用源域上进行训练？
• RQ4 在领域偏移更显著的异质数据集中，该方法的有效性如何？
• RQ5 该模型能否扩展以支持在多个选定源域上进行加权集成学习？

主要发现

• 所提出的基于距离的源域选择方法在朴素和自适应学习设置下，与随机源域选择相比，显著降低了跨域分类误差。
• 在异质数据集中，该方法通过选择高潜力域子集，优于在所有可用源域上训练的模型，证明了其作为过滤机制的实用性。
• CMEK模型在异质数据集上的跨域误差下限为0.252，表明其性能仍处于最优性能的一半左右。
• 在同质数据集中，该方法表现更接近最优，表明当源域与目标域更相似时，跨域误差的可预测性更高。
• 通过引入领域特定特征（如情感词典或文档长度分布），可提升模型的预测能力，可能改善距离估计。
• 将模型扩展为根据预测误差为源域分配权重，显示出在集成学习中的潜力，但会增加计算复杂度。