[论文解读] Exploring the Hyperparameter Landscape of Adversarial Robustness

Evelyn Duesterwald, Anupama Murthi+3 more|arXiv (Cornell University)|May 9, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 4

一句话总结

本文研究了对抗训练超参数与模型鲁棒性之间的复杂关系，表明鲁棒性曲面高度敏感且非线性。提出了一种基于准确率预算的超参数优化（HPO）框架，可自动平衡鲁棒性与准确率，使MNIST和SVHN数据集上的鲁棒性接近最优，且准确率损失最小。

ABSTRACT

Adversarial training shows promise as an approach for training models that are robust towards adversarial perturbation. In this paper, we explore some of the practical challenges of adversarial training. We present a sensitivity analysis that illustrates that the effectiveness of adversarial training hinges on the settings of a few salient hyperparameters. We show that the robustness surface that emerges across these salient parameters can be surprisingly complex and that therefore no effective one-size-fits-all parameter settings exist. We then demonstrate that we can use the same salient hyperparameters as tuning knob to navigate the tension that can arise between robustness and accuracy. Based on these findings, we present a practical approach that leverages hyperparameter optimization techniques for tuning adversarial training to maximize robustness while keeping the loss in accuracy within a defined budget.

研究动机与目标

• 理解对抗鲁棒性对对抗训练中关键超参数的敏感性。
• 解决由于复杂且非线性的鲁棒性曲面而导致的最优超参数配置难以寻找的挑战。
• 通过在超参数调优中引入准确率预算，缓解鲁棒性与干净准确率之间的权衡。
• 为实践者开发一种自动化的、有原则的方法，实现鲁棒模型而无需手动调优超参数。
• 评估HPO策略（网格搜索、随机搜索、TPE）在准确率约束下导航鲁棒性-准确率权衡的有效性。

提出的方法

• 对关键超参数（PGD攻击比例和扰动幅度ε）进行敏感性分析。
• 将对抗训练建模为多目标优化问题，以鲁棒性为主要目标，准确率作为受约束的预算。
• 应用三种HPO策略——网格搜索、随机搜索和树结构Parzen估计器（TPE）——以探索超参数空间。
• 引入准确率预算β以限制可接受的准确率损失，引导HPO向兼顾鲁棒性与干净准确率的配置方向进行。
• 使用PGD-based对抗攻击评估不同超参数设置下的鲁棒性（AdvAcc）和标准测试准确率（TestAcc）。
• 每种配置重复实验40次，以评估HPO方法在严格准确率约束下的稳定性与成功率。

实验结果

研究问题

• RQ1 对抗鲁棒性对PGD比例和ε等关键超参数的变化有多敏感？
• RQ2 超参数空间中鲁棒性曲面的结构是怎样的？其复杂程度如何？
• RQ3 超参数优化技术能否有效导航对抗训练中的鲁棒性-准确率权衡？
• RQ4 施加准确率预算如何影响HPO方法寻找最优超参数配置的能力？
• RQ5 自动化HPO策略能否在实现高鲁棒性的同时最小化准确率退化，从而优于手动调优？

主要发现

• 在超参数（比例和ε）上的鲁棒性曲面高度复杂且非线性，无法采用‘一刀切’的超参数设置。
• 在MNIST上，网格搜索未设准确率预算时达到93.4%的对抗准确率，SVHN上为40.0%，但导致干净准确率显著下降（如SVHN上为70.9%）。
• 在MNIST上，准确率预算β=1.6%时，网格搜索找到的配置实现了92.7%的对抗准确率，同时保持98.01%的干净准确率。
• 在SVHN上，准确率预算β=14.0%时，配置实现38.3%的对抗准确率和85.6%的干净准确率——显著优于无约束情况下的70.9%干净准确率。
• 随机搜索和TPE在40次重复实验中表现一致，TPE因使用代理建模而略胜随机搜索，但两者在准确率约束下均表现有效。
• 在极严格的准确率预算下，随机搜索和TPE的成功率下降，表明需要多次运行才能可靠找到可行解。