[论文解读] An Optimal Control View of Adversarial Machine Learning

Xiaojin Zhu|arXiv (Cornell University)|Nov 11, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 9

一句话总结

本文将对抗性机器学习建模为确定性离散时间最优控制问题，其中攻击者作为控制器，通过战略性扰动操控机器学习系统。通过将攻击建模为具有明确动力学、代价和目标的控制过程，该方法在统一的数据中毒、测试时攻击和奖励调节等不同对抗性场景方面建立了共同框架，从而能够应用控制理论与强化学习技术来改进攻击设计与防御策略。

ABSTRACT

I describe an optimal control view of adversarial machine learning, where the dynamical system is the machine learner, the input are adversarial actions, and the control costs are defined by the adversary's goals to do harm and be hard to detect. This view encompasses many types of adversarial machine learning, including test-item attacks, training-data poisoning, and adversarial reward shaping. The view encourages adversarial machine learning researcher to utilize advances in control theory and reinforcement learning.

研究动机与目标

• 将多样化的对抗性机器学习攻击——如数据中毒、测试时逃避攻击和奖励调节——统一于单一最优控制框架之下。
• 通过将攻击形式化为具有明确系统动力学与代价函数的控制问题，使既有的控制理论与强化学习方法能够应用于对抗性机器学习。
• 为对抗性机器学习提供概念与数学基础，突破独立同分布假设与集中不等式的限制，使其与最优控制理论对齐。
• 通过限制攻击者影响学习者行为的能力，识别可控性限制作为潜在的防御机制。
• 将该框架扩展至机器教学与个性化教育，展示其在对抗性场景之外的广泛适用性。

提出的方法

• 将机器学习者建模为具有状态 $\mathbf{x}_t$、控制输入 $\mathbf{u}_t$ 和已知系统动力学 $f$ 的动力系统，用于描述状态转移。
• 采用有限时域最优控制公式定义攻击者的控制问题，包含运行代价 $g_t(\mathbf{x}_t, \mathbf{u}_t)$ 与终端代价 $g_T(\mathbf{x}_T)$，目标是最小化总代价。
• 将训练数据中毒攻击纳入框架，将学习者的模型更新（如通过经验风险最小化训练SVM）建模为系统动力学 $f$。
• 将测试时攻击与奖励调节表示为序列控制问题，其中攻击者通过操纵输入或奖励信号，引导学习者朝向目标行为。
• 使用控制策略 $\phi_t(\mathbf{x}_t) = \mathbf{u}_t$ 将观测状态映射为对抗性动作，代价函数反映攻击的代价与成功程度。
• 在系统动力学 $f$ 未知时，采用强化学习或鲁棒控制方法，实现攻击策略的自适应调整。

实验结果

研究问题

• RQ1 如何在单一数学框架下系统性地统一对抗性机器学习攻击？
• RQ2 对抗性攻击与最优控制问题在动力学、控制输入与代价函数方面存在哪些结构性相似性？
• RQ3 能否利用现有的最优控制与强化学习技术，设计出更高效且更具隐蔽性的对抗性攻击？
• RQ4 最优控制视角如何促成基于限制可控性的新型防御策略？
• RQ5 该框架如何扩展至非独立同分布与非平稳的对抗性场景，如在线学习与奖励调节？

主要发现

• 本文证明，对抗性机器学习可被正式建模为确定性离散时间最优控制问题，其中攻击者作为控制器，学习者的动力学作为被控系统。
• 在训练数据中毒场景中，最优控制公式将SVM训练过程建模为单步控制问题，攻击者通过操纵训练集，引导模型朝向目标权重向量 $\mathbf{w}^*$。
• 在测试时攻击中，攻击者的控制输入为对输入样本的扰动，代价函数由扰动幅度与导致误分类的成功程度共同定义。
• 在多臂赌博机的对抗性奖励调节中，攻击者控制奖励信号 $r_{I_t} + u_t$，代价函数平衡奖励调节的代价与目标臂的选择。
• 该框架支持在系统动力学 $f$ 未知时使用强化学习与基于模型的控制方法，从而实现自适应攻击策略。
• 该方法揭示了可控性是关键的脆弱点，提示限制攻击者影响系统状态的能力，可作为通用的防御机制。