[论文解读] Efficient Representations for Life-Long Learning and Autoencoding

Maria-Florina Balcan, Avrim Blum+1 more|arXiv (Cornell University)|Nov 6, 2014

Machine Learning and Algorithms参考文献 33被引用 43

一句话总结

该论文提出高效算法用于终身机器学习，通过在多个任务间学习共享表征，实现更快、更高效的数据学习。该方法引入了基于锚定假设的低维子空间与特征布尔组合的发现方法，以构建稀疏、近似最优的自编码器，并在样本复杂度方面相比独立学习任务实现了可证明的改进。

ABSTRACT

It has been a long-standing goal in machine learning, as well as in AI more generally, to develop life-long learning systems that learn many different tasks over time, and reuse insights from tasks learned, "learning to learn" as they do so. In this work we pose and provide efficient algorithms for several natural theoretical formulations of this goal. Specifically, we consider the problem of learning many different target functions over time, that share certain commonalities that are initially unknown to the learning algorithm. Our aim is to learn new internal representations as the algorithm learns new target functions, that capture this commonality and allow subsequent learning tasks to be solved more efficiently and from less data. We develop efficient algorithms for two very different kinds of commonalities that target functions might share: one based on learning common low-dimensional and unions of low-dimensional subspaces and one based on learning nonlinear Boolean combinations of features. Our algorithms for learning Boolean feature combinations additionally have a dual interpretation, and can be viewed as giving an efficient procedure for constructing near-optimal sparse Boolean autoencoders under a natural "anchor-set" assumption.

研究动机与目标

• 开发高效、流式处理的终身学习算法，以复用跨任务的见解。
• 识别并学习多个目标函数之间的共享结构共性。
• 通过构建紧凑、可重用的内部表征，降低在线学习中的样本复杂度。
• 在自然分布假设下，为线性和非线性设置下的学习提供理论保证。
• 通过锚定集假设，实现布尔特征组合的稀疏、过完备表征。

提出的方法

• 采用仅保留假设和当前表征的流式在线学习框架。
• 在线性设置下，应用迹范数正则化与联合优化，学习共享的低维子空间。
• 采用锚定变量假设，识别布尔函数的最小乘积型元特征。
• 在锚定集假设下，引入一种双准则近似算法，用于过完备稀疏表征。
• 当表征失败时，使用Schapire和Sellie的精确学习算法处理多项式。
• 定期对学习到的表征进行重新压缩，以最小化合取元特征的数量。

实验结果

研究问题

• RQ1 我们能否在流式在线设置下，通过可证明的样本效率，学习多个分类任务之间的共享低维子空间？
• RQ2 如何高效发现能实现多个目标函数稀疏紧凑表征的非线性布尔特征组合？
• RQ3 为实现稀疏布尔自编码器的近似最优性能，需要哪些假设？
• RQ4 我们能否在不存储过去训练数据的情况下，维持终身学习中的低样本复杂度？
• RQ5 如何高效地将学习到的多项式函数压缩为最小数量的重叠合取元特征集合？

主要发现

• 当从紧凑表征中学习时，该算法在每个任务上的样本复杂度为 O(B²k)，显著优于独立学习的 Ω(nm/ϵ)。
• 对于线性子空间，在对数凹分布下，该方法实现了样本复杂度的改进，误差界与夹角分离相关。
• 在锚定变量假设下，该算法能找出布尔自编码中最优数量的基于乘积的元特征。
• 在锚定集假设下，该算法提供双准则近似，近似程度在对数因子内同时控制稀疏性与元特征数量。
• 需要完全重新训练的任务数量被限制在 n² + k 以内，确保在新任务持续到来时仍具可扩展性。
• 该方法通过定期将表征压缩为最小合取元特征集合，实现了多项式高效终身学习。