[论文解读] An Optimal Control Approach to Sequential Machine Teaching

Laurent Lessard, Xuezhou Zhang+1 more|arXiv (Cornell University)|Oct 15, 2018

Machine Learning and Algorithms参考文献 13被引用 9

一句话总结

本文将序列机器教学问题形式化为时间最优控制问题，利用庞特里亚金最大值原理，推导出具有最小二乘损失的梯度下降学习者的最优训练序列。结果表明，最优控制方法相比贪心启发式方法可显著缩短教学序列，最多减少25%的步数，并提出一种可扩展的连续近似方法（CNLP），在小步长下保持高精度。

ABSTRACT

Given a sequential learning algorithm and a target model, sequential machine teaching aims to find the shortest training sequence to drive the learning algorithm to the target model. We present the first principled way to find such shortest training sequences. Our key insight is to formulate sequential machine teaching as a time-optimal control problem. This allows us to solve sequential teaching by leveraging key theoretical and computational tools developed over the past 60 years in the optimal control community. Specifically, we study the Pontryagin Maximum Principle, which yields a necessary condition for optimality of a training sequence. We present analytic, structural, and numerical implications of this approach on a case study with a least-squares loss function and gradient descent learner. We compute optimal training sequences for this problem, and although the sequences seem circuitous, we find that they can vastly outperform the best available heuristics for generating training sequences.

研究动机与目标

• 解决寻找最短训练序列以将序列学习者驱动至目标模型的挑战。
• 通过应用最优控制理论，克服贪心启发式方法在序列机器教学中的次优性。
• 提供一种原理清晰、分析基础坚实的最优教学序列计算方法。
• 开发可扩展的计算工具——NLP与CNLP，用于求解离散与连续时间最优控制形式化问题。
• 通过庞特里亚金最大值原理的理论分析，揭示最优教学轨迹的结构特性。

提出的方法

• 将序列机器教学形式化为具有自由终端时间及固定初始与最终模型状态的时间最优控制问题。
• 应用庞特里亚金最大值原理（PMP），推导出训练序列最优性的必要条件。
• 推导出适用于最小二乘梯度下降学习者的最优轨迹的二维结构表征。
• 开发精确的离散时间求解器（NLP）和连续近似方法（CNLP），以计算最优输入序列。
• 将连续CNLP解用作模型预测控制（MPC）的参考轨迹，以生成鲁棒的反馈策略。
• 采用数值优化求解由PMP条件导出两点边值问题。

实验结果

研究问题

• RQ1 最优控制理论能否用于寻找比贪心启发式方法更短的序列机器教学训练序列？
• RQ2 具有最小二乘损失的梯度下降学习者，其最优教学序列具有何种结构特性？
• RQ3 基于最优控制的教学方法在序列长度方面与贪心及启发式方法相比表现如何？
• RQ4 连续时间近似方法（CNLP）能否准确且可扩展地近似离散最优序列？
• RQ5 开环教学序列存在哪些局限性？反馈策略如何提升鲁棒性？

主要发现

• NLP求解器在三个测试案例中分别找到了151、153和259步的序列，优于贪心方法的219、241和310步。
• 对于初始权重为w₀ = (a, 0)、目标为w⋆ = (0, 2a)的任务，贪心方法与最优方法的序列长度比随a指数增长，表明贪心方法存在严重次优性。
• 当学习率η较小时，CNLP方法能对离散NLP解提供良好近似，且运行时间与序列长度无关。
• 最优轨迹避开“压缩方向”（即收敛速度减慢的区域），而贪心方法常陷入此类慢收敛区域。
• 最优控制方法揭示，由于最小二乘损失和梯度更新的结构，该问题本质上是二维的，与模型维度无关。
• 将模型预测控制（MPC）应用于CNLP参考轨迹，可生成鲁棒的反馈策略，以缓解实际应用中的数值误差。