[论文解读] Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations.

Hao Cheng, Kaidi Xu+4 more|arXiv (Cornell University)|Apr 21, 2021

Adversarial Robustness in Machine Learning被引用 3

一句话总结

Mixture of Robust Experts (MoRE) 提出了一种动态专家集成方法，其中每个专家网络针对特定类型的扰动或干净数据进行专门化，由一个可训练的门控模块根据输入类型动态分配自适应权重。通过联合训练门控网络并使用对抗性训练微调专家头，MoRE 在多种扰动类型（包括对抗样本和恶劣天气）下实现了卓越的鲁棒性，同时缓解了梯度混淆问题。

ABSTRACT

To tackle the susceptibility of deep neural networks to adversarial examples, the adversarial training has been proposed which provides a notion of security through an inner maximization problem presenting the first-order adversaries embedded within the outer minimization of the training loss. To generalize the adversarial robustness over different perturbation types, the adversarial training method has been augmented with the improved inner maximization presenting a union of multiple perturbations e.g., various $\ell_p$ norm-bounded perturbations. However, the improved inner maximization only enjoys limited flexibility in terms of the allowable perturbation types. In this work, through a gating mechanism, we assemble a set of expert networks, each one either adversarially trained to deal with a particular perturbation type or normally trained for boosting accuracy on clean data. The gating module assigns weights dynamically to each expert to achieve superior accuracy under various data types e.g., adversarial examples, adverse weather perturbations, and clean input. In order to deal with the obfuscated gradients issue, the training of the gating module is conducted together with fine-tuning of the last fully connected layers of expert networks through adversarial training approach. Using extensive experiments, we show that our Mixture of Robust Experts (MoRE) approach enables flexible integration of a broad range of robust experts with superior performance.

研究动机与目标

• 解决现有对抗性训练方法在处理多种多样化扰动类型时灵活性有限的问题。
• 在不牺牲干净准确率的前提下，提升对包括对抗样本和恶劣天气条件在内的多种扰动的鲁棒性。
• 克服在训练专家选择门控机制时常见的梯度混淆问题。
• 实现对多样化鲁棒专家的灵活集成，每个专家针对特定扰动类型或干净数据进行训练。
• 通过动态专家加权，在干净输入、对抗性输入和受扰动输入上均实现卓越性能。

提出的方法

• 一个门控网络根据输入类型，动态地为一组专家网络分配注意力权重。
• 每个专家网络要么针对特定类型的扰动（例如 ℓp-有界）进行对抗性训练，要么针对干净数据准确率进行常规训练。
• 门控模块与专家的最后全连接层联合训练，通过对抗性训练防止梯度混淆。
• 通过在一个统一框架中组合专用专家，该方法支持广泛的扰动类型。
• 在微调专家头时应用对抗性训练，以确保门控机制的鲁棒性和稳定性。
• 该架构支持新专家的灵活、模块化集成，以应对新型扰动类型，而无需重新训练整个系统。

实验结果

研究问题

• RQ1 针对特定扰动类型进行训练的动态专家集成，是否能在多种扰动下超越单体对抗性训练？
• RQ2 在存在对抗样本的情况下，如何有效训练门控机制，而不会陷入梯度混淆？
• RQ3 MoRE 在保持高干净准确率的同时，能在多大程度上实现对多种扰动类型的鲁棒性？
• RQ4 该框架能否灵活扩展，以支持为新型扰动模式添加新类型的专家？
• RQ5 在混合输入条件下，MoRE 与标准对抗性训练和集成方法相比，在鲁棒性和准确率方面表现如何？

主要发现

• MoRE 在多种扰动类型下实现了最先进的鲁棒准确率，包括 ℓp-有界对抗攻击和恶劣天气退化。
• 通过在干净输入上为非对抗性专家分配更高权重，该方法保持了高干净数据准确率。
• 门控网络与专家头的联合训练有效缓解了集成防御中常见的梯度混淆问题。
• 动态门控机制实现了自适应路由，通过专家专业化提升了对未见或罕见扰动类型的性能。
• 大量实验证实，与标准对抗性训练和固定集成基线相比，MoRE 在泛化能力和鲁棒性方面表现更优。
• 该框架支持模块化扩展，允许在不重新训练整个系统的情况下，为新扰动类型添加新专家。