[论文解读] An Overview of Machine Teaching

Xiaojin Zhu, Adish Singla+2 more|arXiv (Cornell University)|Jan 18, 2018

Machine Learning and Algorithms参考文献 8被引用 101

一句话总结

这篇论文将机器教学组织为一个多维问题空间，通过双层优化形式化教学，并在跨越人机交互、信号、序列、攻击者/友方角色等方面对理论与实践方向进行综述。

ABSTRACT

In this paper we try to organize machine teaching as a coherent set of ideas. Each idea is presented as varying along a dimension. The collection of dimensions then form the problem space of machine teaching, such that existing teaching problems can be characterized in this space. We hope this organization allows us to gain deeper understanding of individual teaching problems, discover connections among them, and identify gaps in the field.

研究动机与目标

• 澄清机器教学与传统机器学习和主动学习的区别。
• 引入一个多维空间来表征教学问题。
• 给出教学的形式定义和双层优化公式。
• 在各领域对应用、理论问题与实际研究方向进行综述。

提出的方法

• 给出具体例子（例如一维阈值和硬间隔SVM）来说明最小教学集合。
• 将机器教学形式化为耦合教师与学习者的双层优化问题（equations 2–5）。
• 引入一个带有 TeachingRisk 和 TeachingCost 的广义教学框架（equation 4）以及带约束的变体（6、9）。
• 按维度来刻划教学空间（人类/机器、教学信号、批处理与序列、基于模型与无模型、学生意识、单一与多样、天使性与对抗性、理论与经验）。
• 讨论教学维数概念（TD、RTD、PBTD）及与VC维数和样本压缩的联系。
• 提出研究方向包括算法理论、人机交互与教育。

实验结果

研究问题

• RQ1 哪些形式化定义和优化框架最能在跨域情境下捕捉机器教学？
• RQ2 各维度（信号类型、学习者模型、排序、意识）如何影响教学效率和可行性？
• RQ3 教学概念（TD、RTD、PBTD）与经典学习理论（VC维、样本压缩）之间的关系是什么？
• RQ4 机器教学如何应用于教育与人机交互，包括数据污染等对抗性环境？

主要发现

• 教学可以以出人意料地小的教学集合实现有目标的学习（例如一维阈值的两个点；SVM边界存在许多教学集合）。
• 双层优化公式捕捉教师-学习者的互动以及教学风险与教学成本之间的权衡。
• 维度的丰富空间允许对多样场景建模，从人类教育到中毒攻击和辅导系统。
• 教学概念如 TD、RTD、PBTD 与被动学习复杂性相关，并且可以扩展到超越版本空间学习者的模型，如岭回归/逻辑回归和SVM。
• 有在将教学复杂性与VC维度和样本压缩相关联的持续工作，并研究自适应、交互式和记忆受限的教学设置。