[论文解读] Adversarial Initialization - when your network performs the way I want -

Kathrin Grosse, Thomas Alexander Trost+2 more|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用 6

一句话总结

本文提出对抗性初始化（adversarial initialization），一种新型攻击方法，通过仅操纵未经训练的初始权重（特别是通过简单的排列）来降低深度学习模型的性能，即使在不了解训练数据或模型架构的情况下，也能在MNIST数据集上实现高达50%的准确率下降，或使训练时间翻倍。该攻击揭示了标准深度学习工作流中的关键安全漏洞。

ABSTRACT

The increase in computational power and available data has fueled a wide deployment of deep learning in production environments. Despite their successes, deep architectures are still poorly understood and costly to train. We demonstrate in this paper how a simple recipe enables a market player to harm or delay the development of a competing product. Such a threat model is novel and has not been considered so far. We derive the corresponding attacks and show their efficacy both formally and empirically. These attacks only require access to the initial, untrained weights of a network. No knowledge of the problem domain and the data used by the victim is needed. On the initial weights, a mere permutation is sufficient to limit the achieved accuracy to for example 50% on the MNIST dataset or double the needed training time. While we can show straightforward ways to mitigate the attacks, the respective steps are not part of the standard procedure taken by developers so far.

研究动机与目标

• 识别并利用深度学习中此前未被考虑的威胁模型：对抗性地操纵未训练的网络权重。
• 证明简单的权重排列可严重降低模型准确率或增加训练时间。
• 表明此类攻击即使在缺乏训练数据或问题领域知识的情况下依然有效。
• 强调当前深度学习开发流水线中缺乏标准缓解措施。

提出的方法

• 该攻击对深度神经网络的初始未训练权重施加战略性排列。
• 该排列旨在从训练开始就破坏梯度流动和优化动态。
• 该方法仅需访问初始权重张量，无需训练数据、标签或模型架构的额外信息。
• 对攻击进行形式化分析，以展示其对优化收敛性和最终准确率的影响。
• 在MNIST等标准基准上进行实证验证，以衡量性能下降程度。
• 证明该方法在不同网络架构和初始化方案下均有效。

实验结果

研究问题

• RQ1 在无法访问训练数据或模型结构的情况下，能否通过对抗性方式操纵未训练的网络权重来降低模型性能？
• RQ2 在深度网络中，简单的权重排列在多大程度上可降低最终准确率或延长训练时间？
• RQ3 为何该攻击在缺乏数据或标签信息的情况下依然有效？
• RQ4 此类攻击在形式和实证上成功的条件是什么？
• RQ5 为何当前的深度学习实践对这类初始化级别攻击缺乏抵抗力？

主要发现

• 对未训练网络权重进行简单排列，可使MNIST测试准确率降至约50%，与原始初始化方式无关。
• 该攻击可使达到目标准确率阈值所需的训练轮次数翻倍。
• 该攻击在多种网络架构上均有效，且无需了解训练数据或问题领域。
• 该漏洞源于攻击针对的是初始化阶段的优化动态，而该阶段对权重顺序高度敏感。
• 标准深度学习实践并未包含针对此类初始化级别攻击的防御措施，导致模型暴露于风险之中。
• 尽管可实现缓解，但该方法并非标准训练流程的一部分，表明当前模型开发安全方面存在明显缺口。