[论文解读] Iterative Machine Teaching

Weiyang Liu, Bo Dai+6 more|arXiv (Cornell University)|May 30, 2017

Machine Learning and Algorithms参考文献 23被引用 56

一句话总结

本文提出迭代机器教学，其中教师按顺序向迭代学习者提供示例以加速收敛，并开发具有理论保证与实验的算法。

ABSTRACT

In this paper, we consider the problem of machine teaching, the inverse problem of machine learning. Different from traditional machine teaching which views the learners as batch algorithms, we study a new paradigm where the learner uses an iterative algorithm and a teacher can feed examples sequentially and intelligently based on the current performance of the learner. We show that the teaching complexity in the iterative case is very different from that in the batch case. Instead of constructing a minimal training set for learners, our iterative machine teaching focuses on achieving fast convergence in the learner model. Depending on the level of information the teacher has from the learner model, we design teaching algorithms which can provably reduce the number of teaching examples and achieve faster convergence than learning without teachers. We also validate our theoretical findings with extensive experiments on different data distribution and real image datasets.

研究动机与目标

• 在学习者以迭代方式更新而非批量更新时，激发对机器教学研究的动机。
• 定义迭代教学框架并将教学复杂度量化为达到收敛所需的轮次数量。
• 在不同教师信息水平下，开发并分析三种迭代教学算法。
• 建立在何种条件下迭代教学可以在理论上优于随机教学地收敛。
• 通过对合成数据和真实图像数据集的实验来验证理论结果。

提出的方法

• 将迭代机器教学形式化，在每一轮中教师选择一个示例 (x, y) 来引导固定的迭代学习者。
• 将更新误差定义并分解为困难项 T1 和有用性项 T2，以指导示例选择。
• 推导一个全知教师算法，使学习者误差在每次迭代中的变化最小化，并证明更快收敛的条件。
• 在教师对学习者参数访问受限的较少信息环境中，引入代理教师和模仿教师。
• 通过综合、组合和可再缩放的基于池的方案来刻画教学能力，并在合适条件下显示指数级加速。
• 探索理论性质，如教学单调性 (TV(w)) 与普遍加速准则。

实验结果

研究问题

• RQ1 在每次迭代中，教师应该提供何种序列的示例以实现快速收敛？
• RQ2 达到目标精度或接近最优学习者需要多少轮教学（示例）？
• RQ3 在何种条件下迭代教师能在理论上胜过随机或无引导的学习？
• RQ4 不同教师信息水平（全知、代理、模仿）如何影响收敛性保证？
• RQ5 教学单调性和教学能力在实现加速中的作用是什么？

主要发现

• 在适当条件下，迭代教师可以比无教师的训练实现更快的收敛。
• 本文将教学单调性和教学能力确定为实现快速迭代教学、以及潜在指数级提升的关键因素。
• 对合成数据和真实图像数据的实证结果支持理论主张，并展示了所提教学策略的更快收敛。
• 不同的教师模型（全知、代理、模仿）在具有相同或不同特征空间的场景中均有效，常常优于在选定集合上的 SGD/批量 GD。