[论文解读] Imitation Attacks and Defenses for Black-box Machine Translation Systems

Eric Wallace, Mitchell Stern+1 more|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 20

一句话总结

本文展示了通过基于查询的模仿学习，可以盗取黑箱机器翻译（MT）系统，且在高资源和低资源语言对上均实现了接近生产环境性能（BLEU差异仅0.6以内）的模仿模型。此外，研究还表明在这些模仿模型上生成的对抗性样本能够成功转移到生产系统中。为此，本文提出一种防御机制，通过注入替代翻译来降低模仿模型的质量和攻击的可转移性，代价是BLEU得分下降和推理速度减慢。

ABSTRACT

Adversaries may look to steal or attack black-box NLP systems, either for financial gain or to exploit model errors. One setting of particular interest is machine translation (MT), where models have high commercial value and errors can be costly. We investigate possible exploits of black-box MT systems and explore a preliminary defense against such threats. We first show that MT systems can be stolen by querying them with monolingual sentences and training models to imitate their outputs. Using simulated experiments, we demonstrate that MT model stealing is possible even when imitation models have different input data or architectures than their target models. Applying these ideas, we train imitation models that reach within 0.6 BLEU of three production MT systems on both high-resource and low-resource language pairs. We then leverage the similarity of our imitation models to transfer adversarial examples to the production systems. We use gradient-based attacks that expose inputs which lead to semantically-incorrect translations, dropped content, and vulgar model outputs. To mitigate these vulnerabilities, we propose a defense that modifies translation outputs in order to misdirect the optimization of imitation models. This defense degrades the adversary's BLEU score and attack success rate at some cost in the defender's BLEU and inference speed.

研究动机与目标

• 探究仅通过查询访问和单语数据是否能够逆向工程黑箱MT系统。
• 评估在模仿模型上生成的对抗性样本向生产MT系统转移的可行性。
• 开发一种防御机制，以减轻模型盗取和对抗性样本可转移性，同时保持核心模型功能。
• 评估在防御模仿攻击时，安全性、性能与推理效率之间的权衡。

提出的方法

• 使用从黑箱MT API查询的单语句子训练模仿模型，并对输出进行标注，用于监督微调。
• 在模仿模型上应用基于梯度的攻击，生成可转移到生产系统的对抗性样本。
• 实施一种防御机制，对每个输入生成多个翻译假设，并选择替代输出以误导模仿模型的优化过程。
• 应用BLEU匹配阈值（70、80、90）以控制输出扰动程度，并衡量性能的权衡。
• 通过测量模仿模型BLEU得分的下降和对抗性样本的转移率，评估防御的有效性。
• 使用400个IWSLT测试样本作为验证集，测量在应用防御前后对抗性攻击的转移成功率。

实验结果

研究问题

• RQ1 攻击者是否仅通过查询访问和单语数据，就能成功盗取生产环境中的MT模型？
• RQ2 在模仿模型上生成的对抗性样本在多大程度上能够成功转移到原始生产MT系统？
• RQ3 通过修改翻译输出以误导模仿模型训练的防御机制，其有效性如何？
• RQ4 防御的有效性与原始MT系统性能（BLEU）和推理速度之间的权衡是什么？

主要发现

• 模仿模型在三种生产MT系统（Google、Bing、Systran）的高资源和低资源语言对上，BLEU得分与原系统相差不超过0.6。
• 在未应用防御的情况下，对抗性攻击从模仿模型转移到生产系统的成功率为38%。
• 在BLEU匹配阈值为70时，所提出的防御将对抗性样本转移率降低至27.0%，表明攻击成功率相对下降了26%。
• 该防御使模仿模型的BLEU得分最高下降1.8分（从34.5降至32.7），而目标模型的BLEU仅下降0.8分（从34.6降至33.8）。
• 在防御下，目标模型与模仿模型之间的系统间BLEU从69.7降至53.5，表明两者功能相似性显著降低。
• 该防御引入了100个假设的生成步骤，增加了推理开销并降低了防御方的BLEU，但为防御方提供了可测量的竞争优势。