[论文解读] Adversarial Training as Stackelberg Game: An Unrolled Optimization Approach.

Simiao Zuo, Liang Chen+6 more|arXiv (Cornell University)|Apr 11, 2021

Topic Modeling参考文献 59被引用 5

一句话总结

本文提出了一种新型对抗性训练框架——Stackelberg 对抗训练（SALT），将训练过程建模为一个 Stackelberg 博弈，其中模型训练者（领导者）能够预判对抗者的扰动策略。通过使用展开优化方法计算 Stackelberg 梯度，SALT 在多个自然语言处理任务（包括机器翻译和自然语言理解）中均提升了模型泛化能力，并优于现有基线方法。

ABSTRACT

Adversarial training has been shown to improve the generalization performance of deep learning models in various natural language processing tasks. Existing works usually formulate adversarial training as a zero-sum game, which is solved by alternating gradient descent/ascent algorithms. Such a formulation treats the adversarial and the defending players equally, which is undesirable because only the defending player contributes to the generalization performance. To address this issue, we propose Stackelberg Adversarial Training (SALT), which formulates adversarial training as a Stackelberg game. This formulation induces a competition between a leader and a follower, where the follower generates perturbations, and the leader trains the model subject to the perturbations. Different from conventional adversarial training, in SALT, the leader is in an advantageous position. When the leader moves, it recognizes the strategy of the follower and takes the anticipated follower's outcomes into consideration. Such a leader's advantage enables us to improve the model fitting to the unperturbed data. The leader's strategic information is captured by the Stackelberg gradient, which is obtained using an unrolling algorithm. Our experimental results on a set of machine translation and natural language understanding tasks show that SALT outperforms existing adversarial training baselines across all tasks.

研究动机与目标

• 为了解决现有对抗性训练方法将对抗者与防御者视为对称玩家的局限性，尽管只有防御者对泛化有贡献。
• 将对抗性训练建模为 Stackelberg 博弈，其中防御者（领导者）预判对抗者（跟随者）的策略并采取战略性行动。
• 通过利用 Stackelberg 框架中领导者的战略优势，提升模型对未扰动数据的拟合能力。
• 开发一种训练方法，利用展开优化捕捉领导者对跟随者行为的预期响应。
• 在多样化的自然语言处理任务中，持续证明 SALT 在性能上优于现有对抗性训练基线方法。

提出的方法

• 将对抗性训练建模为 Stackelberg 博弈，其中模型训练者作为领导者，对抗者作为跟随者。
• 将跟随者的扰动生成建模为对领导者模型参数的响应，领导者预判该响应。
• 使用展开算法计算 Stackelberg 梯度，以捕捉跟随者对领导者当前策略的最优响应。
• 使用展开梯度更新领导者模型参数，该梯度整合了未来扰动的预期影响。
• 将展开梯度集成到训练循环中，使领导者在优化过程中能够实现战略性自适应。
• 保持标准训练目标不变，但修改梯度计算方式，以反映 Stackelberg 框架中的领导者-跟随者动态。

实验结果

研究问题

• RQ1 将对抗性训练建模为 Stackelberg 博弈是否能相比零和博弈形式提升模型泛化能力？
• RQ2 领导者对跟随者扰动策略的战略预判如何影响模型在未扰动数据上的性能表现？
• RQ3 在 Stackelberg 框架中使用展开优化是否能提升自然语言处理任务中的鲁棒性与准确性？
• RQ4 SALT 在多样化的自然语言处理基准测试中与现有对抗性训练基线相比表现如何？
• RQ5 能否有效利用 Stackelberg 博弈中领导者的优势来提升模型拟合能力，同时不损害鲁棒性？

主要发现

• SALT 在所有评估的机器翻译和自然语言理解任务中均优于现有对抗性训练基线方法。
• 所提出的 Stackelberg 建模使领导者能够更有效地预判并响应对抗性扰动，从而提升泛化能力。
• 展开优化方法成功捕捉了跟随者的最优响应，使领导者能够做出更具策略性的更新。
• 通过利用博弈论框架中领导者的优势，该方法显著提升了模型对未扰动数据的拟合能力。
• 实证结果表明，与基于零和博弈的对抗性训练方法相比，SALT 在鲁棒性和准确性方面均表现出一致的性能提升。
• 该框架在多样化的自然语言处理任务中均表现有效，表明所提方法具有广泛的适用性和鲁棒性。