[论文解读] A Research Agenda: Dynamic Models to Defend Against Correlated Attacks

Ian Goodfellow|arXiv (Cornell University)|Mar 14, 2019

Adversarial Robustness in Machine Learning参考文献 10被引用 12

一句话总结

本文提出一种在推理过程中持续自适应的动态机器学习模型，以抵御相关测试时攻击——即攻击者利用重复或依赖的输入来破坏固定模型。它通过一个“Hello World”示例表明，基于记忆机制的拒识（abstention）的动态模型可对这类攻击实现近乎完美的鲁棒性，主张将动态行为作为未来防御机制的基石。

ABSTRACT

In this article I describe a research agenda for securing machine learning models against adversarial inputs at test time. This article does not present results but instead shares some of my thoughts about where I think that the field needs to go. Modern machine learning works very well on I.I.D. data: data for which each example is drawn {\em independently} and for which the distribution generating each example is {\em identical}. When these assumptions are relaxed, modern machine learning can perform very poorly. When machine learning is used in contexts where security is a concern, it is desirable to design models that perform well even when the input is designed by a malicious adversary. So far most research in this direction has focused on an adversary who violates the {\em identical} assumption, and imposes some kind of restricted worst-case distribution shift. I argue that machine learning security researchers should also address the problem of relaxing the {\em independence} assumption and that current strategies designed for robustness to distribution shift will not do so. I recommend {\em dynamic models} that change each time they are run as a potential solution path to this problem, and show an example of a simple attack using correlated data that can be mitigated by a simple dynamic defense. This is not intended as a real-world security measure, but as a recommendation to explore this research direction and develop more realistic defenses.

研究动机与目标

• 解决固定机器学习模型在相关测试时攻击下的脆弱性，此类攻击中攻击者利用输入之间的依赖关系。
• 挑战在真实世界安全场景中，独立同分布数据与独立测试样本足以保证鲁棒性的假设。
• 论证即使具有随机性的静态模型本质上也脆弱，一旦发现单个对抗性样本，即可被可靠地重复利用。
• 倡导随时间变化的动态模型作为未来鲁棒防御的必要基础。
• 探索协同防御机制，如置信度阈值、主动学习与查询频率限制，以补充动态行为。

提出的方法

• 设计在部署期间持续改变其决策函数的动态模型，使攻击者无法预测其行为。
• 实现一种“记忆防御”机制，使模型能够检测并拒绝对重复输入进行分类，防止已知错误被利用。
• 使用变换函数 $ f({m{x}}, {m{ heta}}) $ 建模在对抗控制下的输入扰动，其中 $ {m{ heta}} $ 表示动态模型参数。
• 引入一种拒识机制，当输入与先前见过的样本匹配时触发，降低持续误分类的风险。
• 提出将动态模型与置信度阈值结合，以拒绝在决策边界附近存在不确定性的预测。
• 集成主动学习机制，在检测到可疑输入时请求真实标签，以提升长期鲁棒性。

实验结果

研究问题

• RQ1 在推理过程中动态变化的模型能否缓解利用相关测试输入（如重复使用单个对抗性样本）的攻击？
• RQ2 为何固定模型在相关攻击下会失效，即使它们对独立扰动具有鲁棒性？
• RQ3 如何将动态行为与拒识或主动学习等机制结合以提升鲁棒性？
• RQ4 模型不可预测性在防御中起什么作用，尤其当攻击者能够观察并适应模型行为时？
• RQ5 在受控攻击场景下，简单的动态防御机制能否显著优于静态模型？

主要发现

• 基于记忆与拒识的简单动态防御机制，可在目标相关攻击中实现100%的鲁棒性，而固定模型的错误率高达100%。
• 即使具有随机性的固定模型也易受相关攻击影响，因为一旦发现单个对抗性样本，即可被反复利用。
• 随时间变化的动态模型可防止攻击者可靠预测模型行为，从而更难发现可利用的模式。
• 动态行为与拒识机制的结合显著提升了鲁棒性，尤其在非目标攻击场景下。
• 动态模型虽为必要条件，但不足以独立保障安全；协同组件如主动学习与查询频率限制可能对实际部署至关重要。
• “Hello World”示例表明，即使该防御机制不适用于实际部署，动态模型在鲁棒性方面仍可显著优于静态模型。