[论文解读] Incremental Active Opinion Learning Over a Stream of Opinionated Documents

Max Zimmermann, Eirini Ntoutsi+1 more|arXiv (Cornell University)|Sep 3, 2015

Machine Learning and Algorithms参考文献 30被引用 7

一句话总结

本文提出 ACOSTREAM，一种用于演化意见文档流中情感极性检测的增量主动学习框架。它采用多项式朴素贝叶斯分类器，并结合主动采样策略（信息增益与不确定性），在保持高性能的同时最小化标签获取，仅在 TwitterSentiment 上使用 52% 的标签即取得优异结果，并能稳定适应概念漂移。

ABSTRACT

Applications that learn from opinionated documents, like tweets or product reviews, face two challenges. First, the opinionated documents constitute an evolving stream, where both the author's attitude and the vocabulary itself may change. Second, labels of documents are scarce and labels of words are unreliable, because the sentiment of a word depends on the (unknown) context in the author's mind. Most of the research on mining over opinionated streams focuses on the first aspect of the problem, whereas for the second a continuous supply of labels from the stream is assumed. Such an assumption though is utopian as the stream is infinite and the labeling cost is prohibitive. To this end, we investigate the potential of active stream learning algorithms that ask for labels on demand. Our proposed ACOSTREAM 1 approach works with limited labels: it uses an initial seed of labeled documents, occasionally requests additional labels for documents from the human expert and incrementally adapts to the underlying stream while exploiting the available labeled documents. In its core, ACOSTREAM consists of a MNB classifier coupled with "sampling" strategies for requesting class labels for new unlabeled documents. In the experiments, we evaluate the classifier performance over time by varying: (a) the class distribution of the opinionated stream, while assuming that the set of the words in the vocabulary is fixed but their polarities may change with the class distribution; and (b) the number of unknown words arriving at each moment, while the class polarity may also change. Our results show that active learning on a stream of opinionated documents, delivers good performance while requiring a small selection of labels

研究动机与目标

• 解决在标注数据稀缺且存在概念漂移的实时数据流中学习情感极性的挑战。
• 开发一种主动学习框架，仅在必要时请求标签，从而减少对持续标注的依赖。
• 在意见流中词汇不断演化、情感分布发生偏移的情况下，维持模型的准确率与适应能力。
• 评估不同采样策略在最小化标签使用量的同时最大化性能的有效性。
• 实现无需完整重训的增量模型更新，支持大规模流式环境下的可扩展性。

提出的方法

• ACOSTREAM 使用多项式朴素贝叶斯（MNB）分类器，随时间增量维护类别与词-类别统计信息。
• 采用两种主动采样策略：不确定性采样与基于信息增益的采样，以选择需人工标注的文档。
• 该框架采用增量式运行机制，通过新标注文档更新模型，无需完整重训。
• 基于模型不确定性或预期信息增益触发标签获取，从而减少所需标签数量。
• 通过在新数据到达和词汇演化时重新评估文档情感极性，动态适应概念漂移。
• 初始使用少量标注文档作为种子，随后按需发起标注请求以维持性能。

实验结果

研究问题

• RQ1 如何在标注数据有限的演化数据流中有效应用主动学习进行情感极性检测？
• RQ2 在流式环境中，采用不确定性采样还是信息增益采样策略，能在更少标签下取得更优性能？
• RQ3 在存在概念漂移的情况下，增量学习框架在最小化标签获取的同时，能在多大程度上维持准确率？
• RQ4 当词汇增长与情感分布发生偏移时，系统性能表现如何？
• RQ5 主动学习是否能在不牺牲模型对演化情感模式适应能力的前提下，有效降低标注成本？

主要发现

• 在 TwitterSentiment 数据集上，ACOSTREAM 采用信息增益采样仅使用 52% 的标签即取得具有竞争力的性能，优于随机采样与基于不确定性的采样。
• 在 StreamJi 数据集上，信息增益采样仅需 33% 的标签即可维持高性能，表明其标签使用效率极高。
• 不确定性采样表现欠佳，需高达 88% 的标签才能在 TwitterSentiment 上达到 ACOSTREAM 的性能水平。
• 尽管词汇不断演化且存在概念漂移，系统在两个数据流上均表现出稳定性能，表明其具备强大的适应能力。
• 提高不确定性阈值 α 可提升性能，但代价是标签消耗增加，且该阈值差异在 StreamJi 上的影响比在 TwitterSentiment 上更显著。
• ACOSTREAM 的增量更新机制实现了对变化情感分布的持续适应，无需完整重训，仅以极低的标注开销维持了高准确率。