[论文解读] On Visual Hallmarks of Robustness to Adversarial Malware

Alex Huang, Abdullah Al-Dujaili+2 more|arXiv (Cornell University)|May 9, 2018

Adversarial Robustness in Machine Learning参考文献 7被引用 6

一句话总结

本文引入了视觉分析工具——对抗性损失景观和自组织映射（SOMs），以解释对抗性加固的恶意软件检测器中的鲁棒性。结果表明，仅损失景观的平坦性并不能说明鲁棒泛化，但对抗性变体与决策边界的接近程度与模型鲁棒性强烈相关，更鲁棒的模型（例如 rFGSMᵏ）会将对抗性样本放置得离边界更远。

ABSTRACT

A central challenge of adversarial learning is to interpret the resulting hardened model. In this contribution, we ask how robust generalization can be visually discerned and whether a concise view of the interactions between a hardened decision map and input samples is possible. We first provide a means of visually comparing a hardened model's loss behavior with respect to the adversarial variants generated during training versus loss behavior with respect to adversarial variants generated from other sources. This allows us to confirm that the association of observed flatness of a loss landscape with generalization that is seen with naturally trained models extends to adversarially hardened models and robust generalization. To complement these means of interpreting model parameter robustness we also use self-organizing maps to provide a visual means of superimposing adversarial and natural variants on a model's decision space, thus allowing the model's global robustness to be comprehensively examined.

研究动机与目标

• 开发用于解释对抗性加固的神经网络模型在恶意软件检测中应用的视觉工具。
• 评估损失景观的几何特性（例如平坦性）是否与对抗性训练模型中的鲁棒泛化相关。
• 研究不同训练方法生成的对抗性变体在输入空间中相对于决策边界的分布情况。
• 比较参数空间（损失景观）与输入空间（SOM）可视化在鲁棒性评估中的可解释性。
• 评估当对抗性变体来自多种来源时，损失景观的平坦性是否意味着鲁棒性。

提出的方法

• 使用 Li 等人（2017）提出的方法可视化对抗性训练模型的损失景观，重点关注训练过程中生成的对抗性变体。
• 使用自组织映射（SOMs）将对抗性样本和自然样本投影到二维决策空间中，保留局部关系，并通过颜色表示类别置信度。
• 通过比较来自同一训练方法的对抗性变体与来自全部四种训练方法的对抗性变体联合体的损失景观，进行对比分析。
• 使用不同的内部最大化器训练四种不同的对抗性加固模型：rFGSMᵏ、BGAᵏ、dFGSMᵏ 和 BCAᵏ。
• 通过测量对抗性变体在 SOM 空间中距离模型决策边界的距离，分析决策边界接近度。
• 采用逐滤波器归一化方法，以改善参数空间中损失景观几何结构的可视化效果。

实验结果

研究问题

• RQ1 对抗性加固模型的损失景观平坦性是否与鲁棒泛化相关？
• RQ2 来自不同训练方法的对抗性变体在输入空间中相对于决策边界的分布如何？
• RQ3 自组织映射能否有效揭示对抗性训练模型中的全局鲁棒性模式？
• RQ4 在自然训练模型中观察到的损失景观平坦性与泛化之间的关联，是否也适用于对抗性加固模型？
• RQ5 模型的鲁棒性更可能由损失景观几何结构预测，还是由对抗性变体在决策边界附近的分布空间模式预测？

主要发现

• 当仅基于同一训练方法生成的对抗性变体评估时，损失景观的平坦性无法预测鲁棒性，如鲁棒性较差的 BCAᵏ 模型所示，其虽表现出平坦性但泛化能力差。
• 当在所有方法的对抗性变体联合体上评估时，损失景观平坦性与鲁棒性相关，表明更广泛的对抗性覆盖是实现有意义解释的必要条件。
• rFGSMᵏ 模型（最鲁棒）在 SOM 空间中将对抗性变体放置在远离决策边界的位置，而鲁棒性较差的模型（如 BCAᵏ）则将对抗性变体放置在良性类别区域内部或附近，并具有高置信度。
• 决策边界相对于对抗性变体的位置是比损失景观几何结构本身更强的鲁棒性预测因子，这在 SOM 可视化中表现出一致的空间分离。
• 自然模型（Natural model）的决策图显示其高度脆弱，大多数对抗性变体位于良性类别区域且置信度高，尤其在联合评估所有对抗性变体时更为明显。
• BCAᵏ 模型的决策图几乎与自然模型完全相同，表明对抗性训练几乎未带来改进，且对抗性变体在良性区域的决策边界附近密集分布。