[论文解读] EI-MTD:Moving Target Defense for Edge Intelligence against Adversarial Attacks

Yaguan Qian, Qiqi Shao+6 more|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出EI-MTD，一种面向边缘智能的移动目标防御框架，通过微分知识蒸馏技术，将大型对抗性训练教师模型的鲁棒性转移至资源受限边缘设备上的小型学生模型。通过基于贝叶斯斯塔克尔贝格博弈的动态调度策略，EI-MTD降低了对抗样本的可迁移性，并在黑盒环境下实现了出色的防御性能，同时不损失准确性。

ABSTRACT

With the boom of edge intelligence, its vulnerability to adversarial attacks becomes an urgent problem. The so-called adversarial example can fool a deep learning model on the edge node to misclassify. Due to the property of transferability, the adversary can easily make a black-box attack using a local substitute model. Nevertheless, the limitation of resource of edge nodes cannot afford a complicated defense mechanism as doing on the cloud data center. To overcome the challenge, we propose a dynamic defense mechanism, namely EI-MTD. It first obtains robust member models with small size through differential knowledge distillation from a complicated teacher model on the cloud data center. Then, a dynamic scheduling policy based on a Bayesian Stackelberg game is applied to the choice of a target model for service. This dynamic defense can prohibit the adversary from selecting an optimal substitute model for black-box attacks. Our experimental result shows that this dynamic scheduling can effectively protect edge intelligence against adversarial attacks under the black-box setting.

研究动机与目标

• 解决压缩后的、资源受限的边缘模型因防御能力有限而面临更高的对抗攻击脆弱性。
• 缓解对抗样本在不同模型间的可迁移性，从而防止对边缘智能系统实施有效的黑盒攻击。
• 开发一种轻量级、可部署的防御机制，适用于无法支持复杂云规模防御的边缘节点。
• 通过增强模型多样性与不可预测性，防止攻击者可靠地构建替代模型以实施成功攻击。
• 在显著提升对对抗扰动的鲁棒性的同时，保持对干净输入的高分类准确性。

提出的方法

• 应用微分知识蒸馏，将云上大型对抗性训练教师模型的鲁棒性与分类知识，转移至部署在边缘设备上的多个小型学生模型。
• 采用较高的蒸馏温度 $ T $ 和正则化系数 $ \lambda $，以增强鲁棒特征与梯度的知识迁移效果。
• 基于贝叶斯斯塔克尔贝格博弈实现动态模型调度策略，其中防御者（边缘系统）随机选择目标模型以迷惑攻击者。
• 利用基于梯度的多样性度量，确保学生模型在梯度响应上存在差异，从而降低对抗样本的可迁移性。
• 将防御机制集成至实时边缘推理流水线，实现在设备端分类的计算开销最小化。
• 在教师模型上进行对抗性训练，以确保其鲁棒性，从而确保学生模型能够继承这种抗干扰能力。

实验结果

研究问题

• RQ1 能否通过来自鲁棒性强、规模大的教师模型的知识蒸馏，有效将对抗鲁棒性转移至小型、可部署于边缘的教师模型？
• RQ2 通过贝叶斯斯塔克尔贝格博弈实现的动态模型调度，在多大程度上降低了黑盒对抗攻击在边缘智能系统上的成功率？
• RQ3 通过微分蒸馏提升模型多样性，对边缘模型间对抗样本的可迁移性有何影响？
• RQ4 结合蒸馏与动态调度的轻量级防御机制，能否在保持干净输入高准确率的同时显著提升鲁棒性？
• RQ5 为在边缘设备上最大化防御性能，蒸馏温度 $ T $ 与正则化系数 $ \lambda $ 的最优配置是什么？

主要发现

• EI-MTD通过在多样化、鲁棒的学生模型间动态切换，显著降低了黑盒对抗攻击的成功率，使攻击者难以找到有效的替代模型。
• 提高蒸馏温度 $ T $ 与正则化系数 $ \lambda $ 可提升鲁棒性，最优取值在对抗扰动下可实现更高的防御准确率。
• 该框架在干净测试图像上保持了超过90%的高分类准确率，表明鲁棒性得以实现而未牺牲推理性能。
• 通过微分知识蒸馏，小型学生模型即使在边缘资源有限的条件下，也能从大型对抗性训练教师模型中继承鲁棒性。
• 基于贝叶斯斯塔克尔贝格的调度策略通过引入模型选择的不确定性，有效迷惑攻击者，降低了基于迁移的攻击效果。
• 与静态模型相比，EI-MTD的动态防御机制在鲁棒性方面表现出显著提升，尤其在基于可迁移性的攻击场景下。