[论文解读] Learning to Teach.

Fan Yang, Fei Tian+3 more|arXiv (Cornell University)|Feb 15, 2018

Online Learning and Analytics被引用 48

一句话总结

本文提出了一种名为 'learning to teach' 的优化框架，该框架利用强化学习使教师模型能够动态调整数据、损失函数和假设空间，从而加速并提升学生深度神经网络的训练效果。通过教师与学生之间的反馈协同进化，该方法在多种 DNN 架构和任务中实现了与标准训练相当的准确率，但所需训练样本和迭代次数显著减少。

ABSTRACT

Teaching plays a very important role in our society, by spreading human knowledge and educating our next generations. A good teacher will select appropriate teaching materials, impact suitable methodologies, and set up targeted examinations, according to the learning behaviors of the students. In the field of artificial intelligence, however, one has not fully explored the role of teaching, and pays most attention to machine \emph{learning}. In this paper, we argue that equal attention, if not more, should be paid to teaching, and furthermore, an optimization framework (instead of heuristics) should be used to obtain good teaching strategies. We call this approach “learning to teach”. In the approach, two intelligent agents interact with each other: a student model (which corresponds to the learner in traditional machine learning algorithms), and a teacher model (which determines the appropriate data, loss function, and hypothesis space to facilitate the training of the student model). The teacher model leverages the feedback from the student model to optimize its own teaching strategies by means of reinforcement learning, so as to achieve teacher-student co-evolution. To demonstrate the practical value of our proposed approach, we take the training of deep neural networks (DNN) as an example, and show that by using the learning to teach techniques, we are able to use much less training data and fewer iterations to achieve almost the same accuracy for different kinds of DNN models (e.g., multi-layer perceptron, convolutional neural networks and recurrent neural networks) under various machine learning tasks (e.g., image classification and text understanding).

研究动机与目标

• 为解决人工智能研究中机器学习优先于教学的不平衡问题，提出一种智能教学的正式框架。
• 开发一种基于优化的教学策略，而非依赖于教学中的启发式方法。
• 使教师模型能够根据学生学习反馈，自适应地选择数据、损失函数和假设空间。
• 在减少数据和训练步骤的前提下，实现深度神经网络训练的更快收敛和更高准确率。
• 证明该方法在多种 DNN 架构和机器学习任务中的泛化能力。

提出的方法

• 该方法将教学建模为一个序列决策问题，其中教师模型在强化学习设置中充当策略网络。
• 教师基于学生模型的实时反馈，选择训练数据、损失函数和假设空间，以优化学生性能。
• 通过策略梯度方法优化教师策略，以最大化学生长期准确率和收敛速度。
• 学生模型使用教师提供的数据和损失进行训练，其性能作为教师学习的奖励信号。
• 该框架支持教师与学生之间的协同进化，两者通过相互反馈持续迭代改进。
• 该方法被应用于多种 DNN 模型，包括多层感知机、卷积神经网络和循环神经网络，涵盖图像分类和文本理解任务。

实验结果

研究问题

• RQ1 学习到的教学策略是否能在减少数据和训练迭代次数方面优于启发式教学方法？
• RQ2 教师模型对数据和损失函数的自适应选择如何影响学生模型的收敛性和准确率？
• RQ3 该 'learning to teach' 框架在不同 DNN 架构和机器学习任务中的泛化程度如何？
• RQ4 基于强化学习的教学策略是否能促成教师与学生模型的协同进化，实现共同提升？
• RQ5 基于反馈的教学策略对深度神经网络训练的样本效率有何影响？

主要发现

• 'learning to teach' 框架能够在显著减少数据和训练迭代次数的同时，保持相当的准确率，实现深度神经网络的训练。
• 该方法在多种 DNN 模型（包括多层感知机、卷积神经网络和循环神经网络）上实现了与标准训练相当的性能。
• 该方法在多种机器学习任务中表现出有效性，包括图像分类和文本理解。
• 通过利用学生模型的反馈，教师模型能够动态优化教学策略，从而实现更快收敛和更高的样本效率。
• 该框架支持教师-学生协同进化，两者通过强化学习实现迭代式改进。
• 结果表明，基于优化的教学策略在加速和提升深度学习训练方面，优于启发式方法。