[论文解读] ATL: Autonomous Knowledge Transfer from Many Streaming Processes

Mahardhika Pratama, Marcus de Carvalho+3 more|arXiv (Cornell University)|Oct 8, 2019

Data Stream Mining Techniques参考文献 20被引用 13

一句话总结

ATL 提出了一种深度学习框架，用于在无标签目标数据、协变量偏移和异步概念漂移的条件下，对多个流式处理过程实现自主、在线的无监督迁移学习。该框架结合生成式与判别式学习，通过 KL 散度优化和自适应高斯混合模型（AGMM），使网络结构能够自我演化，形成灵活且领域不变的结构，在多流设置下实现了优于基线方法的准确率与速度。

ABSTRACT

Transferring knowledge across many streaming processes remains an uncharted territory in the existing literature and features unique characteristics: no labelled instance of the target domain, covariate shift of source and target domain, different period of drifts in the source and target domains. Autonomous transfer learning (ATL) is proposed in this paper as a flexible deep learning approach for the online unsupervised transfer learning problem across many streaming processes. ATL offers an online domain adaptation strategy via the generative and discriminative phases coupled with the KL divergence based optimization strategy to produce a domain invariant network while putting forward an elastic network structure. It automatically evolves its network structure from scratch with/without the presence of ground truth to overcome independent concept drifts in the source and target domain. The rigorous numerical evaluation has been conducted along with a comparison against recently published works. ATL demonstrates improved performance while showing significantly faster training speed than its counterparts.

研究动机与目标

• 解决在目标领域缺乏标注实例的多流数据处理过程中迁移学习的挑战。
• 同时克服源域与目标域中的协变量偏移与异步概念漂移。
• 开发一种在线自演化深度网络，能够在监督与无监督模式下动态调整其结构。
• 在不依赖目标领域真实标签的前提下，实现领域不变表示学习。
• 在实时流式环境中实现高性能且计算开销低的模型。

提出的方法

• 结合生成式与判别式学习阶段：在目标域使用自编码器最小化重构误差，在源域使用分类器最小化预测误差。
• 通过最小化源域与目标域隐藏表示之间的 KL 散度，实现领域不变性。
• 在生成式阶段引入噪声注入的去噪自编码器（DAE），以提升鲁棒性与泛化能力。
• 引入自适应高斯混合模型（AGMM），根据预测误差与重构误差动态增长和剪枝隐藏单元。
• 应用自演化网络结构，在满足增长条件时一次性扩展多个隐藏单元，实现对漂移的快速适应。
• 通过随机梯度下降（SGD）在单次遍历的在线学习设置中联合优化所有目标，确保低时间与空间复杂度。

实验结果

研究问题

• RQ1 深度学习框架能否在真实环境中自主实时调整其网络结构，以应对多流处理中的概念漂移？
• RQ2 所提出的基于 KL 散度的领域对齐策略在无标签目标数据条件下，减少协变量偏移的效果如何？
• RQ3 与固定结构或单隐藏单元增长策略相比，基于 AGMM 的隐藏单元增长与剪枝机制在提升适应性方面有多大改进？
• RQ4 在多流问题中，ATL 的性能与最先进方法（如 FUSION、MSC、MSCRDR）相比，在准确率与训练速度方面表现如何？
• RQ5 目标领域缺乏标注数据是否显著降低性能，ATL 能否通过自监督学习缓解此问题？

主要发现

• ATL 在 SEA 数据集上实现了 90.84% 的目标分类率（TCR）与 92.30% 的源分类率（SCR），在准确率与训练速度上均优于基线方法。
• 消融实验表明，若移除 KL 散度阶段，TCR 下降 1%，SCR 下降 0.3%，证实其在领域对齐中的关键作用。
• 若移除 AGMM，TCR 下降 0.5%，SCR 下降 0.3%，表明其在非平稳条件下实现灵活自适应网络增长的重要性。
• 禁用自演化机制（隐藏单元增长/剪枝）导致性能显著下降（TCR 降至 90.27%），凸显其在漂移适应中的必要性。
• 使用多轮训练可将性能提升最多 2%，但模型在单次遍历模式下仍表现良好，证实其真正的在线学习能力。
• ATL 的训练时间显著快于 FUSION、MSC 与 TLDA，在 SEA 数据集上仅需 81 秒，同时保持高准确率。