[论文解读] Information-theoretic Online Memory Selection for Continual Learning

Shengyang Sun, Daniele Calandriello+3 more|arXiv (Cornell University)|Apr 10, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

本文提出一种基于信息论的在线记忆选择方法，用于持续学习，利用惊奇度（surprise）与可学习性（learnability）标准筛选出具有信息量且非异常值的样本。通过采用具有秩一更新的贝叶斯线性模型，实现高效计算，并结合水库采样构建InfoRS，该方法在保持低计算开销的同时，提升了对数据不平衡的鲁棒性。

ABSTRACT

A challenging problem in task-free continual learning is the online selection of a representative replay memory from data streams. In this work, we investigate the online memory selection problem from an information-theoretic perspective. To gather the most information, we propose the extit{surprise} and the extit{learnability} criteria to pick informative points and to avoid outliers. We present a Bayesian model to compute the criteria efficiently by exploiting rank-one matrix structures. We demonstrate that these criteria encourage selecting informative points in a greedy algorithm for online memory selection. Furthermore, by identifying the importance of extit{the timing to update the memory}, we introduce a stochastic information-theoretic reservoir sampler (InfoRS), which conducts sampling among selective points with high information. Compared to reservoir sampling, InfoRS demonstrates improved robustness against data imbalance. Finally, empirical performances over continual learning benchmarks manifest its efficiency and efficacy.

研究动机与目标

• 为解决在无任务边界条件下在线记忆选择的挑战，即在无任务标识的持续学习中进行记忆选择。
• 通过选择更具信息量、多样化的样本，改进标准水库采样方法，以增强模型对数据不平衡的鲁棒性。
• 开发一种高效且可扩展的方法，利用具有秩一矩阵更新的贝叶斯线性模型，实现实时计算信息论标准。
• 证明记忆更新时机对持续学习性能具有显著影响，主张采用延迟或选择性更新策略。

提出的方法

• 提出两种信息论标准：惊奇度（给定当前记忆时，新样本的意外程度）与可学习性（样本在无干扰下可被学习的程度）。
• 利用贝叶斯线性模型通过利用秩一矩阵结构更新，高效计算这些标准，实现每样本O(d)的计算复杂度，其中d为特征维度。
• 设计一种贪心算法，基于MIC（可记忆信息准则）选择样本，以维护具有代表性的记忆缓冲区。
• 提出一种随机信息论水库采样器（InfoRS），仅对高信息量样本应用水库采样，过滤掉无信息或冗余样本。
• 实证表明，InfoRS相较于标准水库采样和基于梯度的选择方法，显著降低了对数据不平衡的敏感性。
• 采用基于预测方差的准则评估信息增益，利用贝叶斯线性回归下的后验预测分布。

实验结果

研究问题

• RQ1 在无任务边界的持续学习中，惊奇度与可学习性等信息论标准能否有效指导在线记忆选择？
• RQ2 记忆更新的时机如何影响持续学习性能？是否可通过优化更新策略避免过早移除历史数据？
• RQ3 可扩展的贝叶斯模型是否能够高效计算信息标准，以满足大规模持续学习的在线应用需求？
• RQ4 通过信息标准过滤水库采样，是否能相比标准水库采样提升对数据不平衡的鲁棒性？
• RQ5 所提方法是否能在计算开销极低的前提下实现最先进性能？

主要发现

• InfoRS在多个基准测试中均取得优越的持续学习性能，尤其在高数据不平衡条件下，优于标准水库采样和基于梯度的选择方法。
• 惊奇度与可学习性标准成功识别出具有信息量的样本并排除异常值，从而构建更具代表性的记忆缓冲区。
• 所提出的贝叶斯模型通过秩一更新实现每样本O(d)时间复杂度的MIC高效计算，适用于在线学习场景。
• 实证结果表明，InfoRS在常见类与罕见类上均保持高准确率，展现出对数据不平衡的显著鲁棒性。
• 与标准水库采样相比，该方法计算开销极低，具备在实际场景中部署的可行性。