[论文解读] Decentralized Online Big Data Classification - a Bandit Framework

Cem Tekin, Mihaela van der Schaar|arXiv (Cornell University)|Aug 21, 2013

Data Stream Mining Techniques参考文献 23被引用 4

一句话总结

本文提出了一种基于合作上下文Bandit模型的去中心化在线学习框架，用于大规模数据分类，其中分布式学习者动态选择最优分类函数（包括通过高成本通信获取他人的分类函数），以最大化个体奖励减去成本。关键贡献在于次线性遗憾边界，证明了即使在分类准确率和通信成本未知且随时间变化的情况下，系统仍能收敛到最优性能。

ABSTRACT

Distributed, online data mining systems have emerged as a result of applications requiring analysis of large amounts of correlated and high-dimensional data produced by multiple distributed data sources. We propose a distributed online data classification framework where data is gathered by distributed data sources and processed by a heterogeneous set of distributed learners which learn online, at run-time, how to classify the different data streams either by using their locally available classification functions or by helping each other by classifying each other's data. Importantly, since the data is gathered at different locations, sending the data to another learner to process incurs additional costs such as delays, and hence this will be only beneficial if the benefits obtained from a better classification will exceed the costs. We assume that the classification functions available to each processing element are fixed, but their prediction accuracy for various types of incoming data are unknown and can change dynamically over time, and thus they need to be learned online. We model the problem of joint classification by the distributed and heterogeneous learners from multiple data sources as a distributed contextual bandit problem where each data is characterized by a specific context. We develop distributed online learning algorithms for which we can prove that they have sublinear regret. Compared to prior work in distributed online data mining, our work is the first to provide analytic regret results characterizing the performance of the proposed algorithms.

研究动机与目标

• 解决来自多个分布式源的高维、流式大规模数据的去中心化、在线分类挑战，其中分类函数的准确率未知且动态变化。
• 将联合分类决策过程建模为合作上下文Bandit问题，学习者在通信和处理成本约束下，平衡探索（测试他人的分类器）与利用（使用已知最佳分类器）。
• 设计分布式在线学习算法，即使在标签延迟或缺失以及概念漂移的情况下，也能收敛到接近最优的分类性能，并提供可证明的理论保证。
• 证明当成本真实反映资源使用时，学习者个体效用最大化可导致系统整体最优。
• 将框架扩展至现实挑战，如概念漂移、异步数据到达，以及集成/无监督学习者。

提出的方法

• 将分类决策过程建模为合作上下文Bandit问题，其中每个数据实例与一个上下文（如时间、位置、特征）相关联，每个学习者根据上下文选择动作（使用自身分类器或委托给他人）。
• 提出一种分布式在线学习算法（CoS），维护每个可能动作（分类器）的期望奖励（准确率减去成本）估计值，并使用类似UCB的探索策略，平衡学习与性能。
• 应用一种新颖的遗憾分析，证明累积遗憾的次线上界，确保在完全知识条件下，长期平均奖励收敛至最优可实现奖励。
• 通过调整探索和训练阶段，将框架扩展以处理缺失标签问题，从而在部分反馈下保持准确的奖励估计。
• 通过将变化的数据分布视为演化的上下文，引入机制以适应概念漂移，实现分类器性能的持续重新估计。
• 通过支持集成和无监督学习者，使其能够在不接收标签的情况下，基于上下文选择性地学习他人预测，实现预测选择。

实验结果

研究问题

• RQ1 去中心化、合作学习框架是否能在分类器准确率未知且随时间动态变化、通信成本未知的大规模数据系统中实现接近最优的分类性能？
• RQ2 在流式、高维数据环境中，分布式学习者如何在成本约束下平衡探索（测试未知分类器）与利用（使用已知优质分类器）？
• RQ3 在延迟或缺失反馈、异步到达以及概念漂移存在的情况下，次线性遗憾边界在多大程度上仍然成立？
• RQ4 当学习者分类器质量参差不齐时，对系统整体性能和错误率的影响如何？
• RQ5 当仅共享上下文信息（而非原始数据）时，性能是否仍可维持？若可维持，其前提条件是什么？

主要发现

• 所提出的CoS算法实现了次线性遗憾，证明了在完全知识条件下，平均奖励收敛至最优奖励，理论边界支持长期收敛。
• 在网络安全数据分类中，CoS在特定设置下将总错误率分别降低至5.9%和10.2%（而DCZA分别为3.8%和4.94%），展示了上下文感知学习的强劲性能。
• 当标签观测概率从1降至0.01时，CoS错误率上升至47.1%，DCZA上升至56.6%，表明对缺失反馈敏感，但仍保持合理性能。
• 增加一个分类性能较差的新学习者使错误率上升（例如CoS中从约22%升至约50%），而增加性能更优的学习者则降低错误率，证实了学习者质量对系统性能的显著影响。
• 随着通信成本上升，学习者越来越多地依赖自身次优分类器，导致CoS错误率从0.9%上升至23.7%，显示出对成本的高度敏感性。
• 仅传输上下文信息（不传输数据）导致错误率较高（如S2设置中达23.8%），表明仅共享上下文时，原始数据或高质量分类器对实现低遗憾至关重要。