[论文解读] General Incremental Learning with Domain-aware Categorical Representations

Jiangwei Xie, Shipeng Yan+1 more|arXiv (Cornell University)|Apr 8, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种新颖的离线通用增量学习框架，通过使用冯·米塞斯-费舍尔混合模型实现领域感知的类别表征，并采用双层平衡记忆机制，同时解决了类别间与类别内稳定性-可塑性困境以及领域不平衡问题。该方法在iDigits、iDomainNet和iCIFAR-20基准上均达到最先进性能，在最具挑战性的设置下平均准确率最高提升+16.36%。

ABSTRACT

Continual learning is an important problem for achieving human-level intelligence in real-world applications as an agent must continuously accumulate knowledge in response to streaming data/tasks. In this work, we consider a general and yet under-explored incremental learning problem in which both the class distribution and class-specific domain distribution change over time. In addition to the typical challenges in class incremental learning, this setting also faces the intra-class stability-plasticity dilemma and intra-class domain imbalance problems. To address above issues, we develop a novel domain-aware continual learning method based on the EM framework. Specifically, we introduce a flexible class representation based on the von Mises-Fisher mixture model to capture the intra-class structure, using an expansion-and-reduction strategy to dynamically increase the number of components according to the class complexity. Moreover, we design a bi-level balanced memory to cope with data imbalances within and across classes, which combines with a distillation loss to achieve better inter- and intra-class stability-plasticity trade-off. We conduct exhaustive experiments on three benchmarks: iDigits, iDomainNet and iCIFAR-20. The results show that our approach consistently outperforms previous methods by a significant margin, demonstrating its superiority.

研究动机与目标

• 为解决通用增量学习问题，即类别和类别内领域分布随时间变化，带来稳定性-可塑性与数据不平衡的新挑战。
• 克服类别内稳定性-可塑性困境，即模型需在不遗忘先前知识的前提下适应先前学习类别的新领域。
• 缓解类别内领域不平衡问题，即由于记忆有限和数据采样偏差，新领域占据主导地位。
• 开发一种灵活、动态的类别表征，以捕捉跨多个领域的复杂类别内结构。
• 通过联合学习框架结合蒸馏与记忆平衡，统一处理类别间与类别内稳定性-可塑性权衡。

提出的方法

• 使用冯·米塞斯-费舍尔（vMF）混合模型表示类别特征，实现跨多个领域的类别内数据的领域感知聚类。
• 采用扩展-缩减策略：当新领域出现时动态增加混合成分，通过分层聚类减少成分以保持紧凑性。
• 应用期望最大化（EM）算法联合优化主干网络与vMF混合成分，将成分分配视为隐变量。
• 引入双层平衡记忆采样策略，在类别间与类别内实现数据平衡，减少对新领域和新类别的偏差。
• 结合类别间与类别内知识蒸馏损失，以抵抗增量更新过程中的灾难性遗忘。
• 在每个会话中进行迭代模型更新：继承先前模型，分配新成分，通过EM算法更新，随后通过聚类减少成分。

实验结果

研究问题

• RQ1 灵活的、领域感知的类别表征能否有效建模跨多个领域的类别内数据分布变化？
• RQ2 当领域标签未知且新领域随时间出现时，如何改善类别内稳定性-可塑性权衡？
• RQ3 双层记忆策略在通用增量学习中，能在多大程度上缓解类别内与类别间的数据不平衡？
• RQ4 将领域感知表征与基于EM的联合学习及蒸馏相结合，是否能在多样化基准上带来一致的性能提升？
• RQ5 该方法对超参数（如混合成分缩减中的阈值和记忆大小）的选择有多鲁棒？

主要发现

• 在iCIFAR-20-NCD划分上，该方法与DER结合后，平均增量准确率提升+16.36%，从60.04%提高至76.40%。
• 在iCIFAR-20-ND划分上，该方法将DER的性能从78.24%提升至84.11%，有效缓解了领域漂移瓶颈。
• UCIR与该方法结合后，在iDigits-NCD划分上达到90.42%的准确率，优于所有基线方法。
• 消融实验表明，加入双层记忆采样策略后，在ND划分上准确率提升0.89%，在ND划分上提升2.07%。
• t-SNE可视化结果表明，该方法能成功将实例分离为不同的领域特定聚类，且各聚类在会话间保持高纯度。
• 敏感性分析显示，该方法对超参数变化具有鲁棒性，尤其对混合成分缩减中的阈值具有强鲁棒性。