[论文解读] Mass Personalization of Deep Learning

Johannes Schneider, Michail Vlachos|arXiv (Cornell University)|Sep 6, 2019

Machine Learning and Data Classification参考文献 26被引用 9

一句话总结

本文提出了三种受课程学习启发的方法，用于大规模个性化深度神经网络，强调在早期训练中使用多样但有限的数据，以防止性能下降。研究发现，即使数量较少，早期接触所有类别也能提升模型的适应性和最终性能，这与学习发展心理理论相一致。

ABSTRACT

We discuss training techniques, objectives and metrics toward mass personalization of deep learning models. In machine learning, personalization refers to the fact that every trained model should be targeted towards an individual by optimizing one or several performance metrics and often obeying additional constraints. We investigate three methods for personalized training of neural networks. They constitute three forms of curriculum learning. The methods are partially inspired by the shaping concept from psychology. Interestingly, we discover that extensive exposure to a limited set of training data in terms of class diversity \emph{early} in the training can lead to an irreversible reduction of the capability of a network to learn from more diverse training data. This is in close alignment with existing theories in human development. In contrast, training on a small data set covering all classes \emph{early} in the training can lead to better performance.

研究动机与目标

• 研究能够实现为个体用户有效个性化的深度学习模型训练策略。
• 探讨课程学习与数据暴露顺序对模型性能和泛化能力的影响。
• 识别可防止因早期数据多样性不足而导致不可逆性能损失的训练方案。
• 建立神经网络训练动态与人类发展学习理论之间的类比。

提出的方法

• 提出三种个性化训练方法，每种方法均基于课程学习原则，采用不同的数据暴露时间表。
• 这些方法涉及控制训练过程中早期阶段所呈现数据的顺序与多样性。
• 训练从一个小而类别多样化的数据子集开始，以塑造模型的初始学习轨迹。
• 该方法受到心理学中“塑造”概念的启发，即早期有针对性的刺激可引导长期学习。
• 通过个性化指标和约束条件评估性能，以确保个性化效果。
• 该框架评估早期数据多样性（而非数据量）对最终模型能力的影响。

实验结果

研究问题

• RQ1 早期训练数据的顺序与多样性如何影响个性化深度学习模型的最终性能？
• RQ2 课程学习策略能否防止个性化模型中不可逆的性能下降？
• RQ3 即使数据量有限，早期接触广泛类别分布是否能提升模型的泛化能力和个性化准确率？
• RQ4 这些训练策略在多大程度上与人类认知发展的理论相吻合？

主要发现

• 对少量类别进行广泛早期暴露，会导致个性化模型出现不可逆的性能下降。
• 在训练初期使用小但类别多样的数据子集进行训练，能显著提升最终模型的性能。
• 在早期即接触多样类别的模型，在适应新个性化任务时表现出更强的适应性和泛化能力。
• 研究结果支持假设：对于有效个性化，早期数据多样性比早期数据量更为关键。