[论文解读] Adversarial attacks on Copyright Detection Systems

Parsa Saadatpanah, Ali Shafahi+1 more|arXiv (Cornell University)|Jun 17, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 16

一句话总结

本文表明，基于神经网络的版权检测系统（如 YouTube 的 Content ID 和 AudioTag）容易受到基于梯度的对抗性攻击。通过将简化的类似 Shazam 的音乐指纹识别系统建模为可微分的神经网络，作者生成了对人类听觉感知几乎不可察觉的音频扰动，成功规避了检测，同时保持了人类可识别性，从而使用低范数扰动欺骗了工业级系统。

ABSTRACT

It is well-known that many machine learning models are susceptible to adversarial attacks, in which an attacker evades a classifier by making small perturbations to inputs. This paper discusses how industrial copyright detection tools, which serve a central role on the web, are susceptible to adversarial attacks. We discuss a range of copyright detection systems, and why they are particularly vulnerable to attacks. These vulnerabilities are especially apparent for neural network based systems. As a proof of concept, we describe a well-known music identification method, and implement this system in the form of a neural net. We then attack this system using simple gradient methods. Adversarial music created this way successfully fools industrial systems, including the AudioTag copyright detector and YouTube's Content ID system. Our goal is to raise awareness of the threats posed by adversarial examples in this space, and to highlight the importance of hardening copyright detection systems to attacks.

研究动机与目标

• 研究工业级版权检测系统对对抗性攻击的脆弱性。
• 证明即使使用简单、手工设计的神经网络音乐指纹识别模型，也可通过标准对抗训练技术被利用。
• 展示在代理模型上生成的对抗样本可有效迁移至真实世界系统（如 AudioTag 和 YouTube Content ID）。
• 提高对对抗样本在关键内容控制系统中所带来安全风险的认识。
• 倡导通过对抗训练等防御机制，提升版权检测系统的鲁棒性。

提出的方法

• 使用 TensorFlow 实现了一个简化的类似 Shazam 的音乐指纹识别系统的可微分神经网络版本。
• 应用基于梯度的对抗攻击，生成最小化代理模型检测概率的扰动。
• 攻击目标被设计为最大化对黑箱模型的迁移能力，从而实现对真实世界系统的规避。
• 通过 ℓ∞ 和 ℓ2 范数优化扰动，确保感知影响最小化的同时实现检测规避。
• 在未重新训练的情况下，将相同的对抗样本在真实世界系统（包括 AudioTag 和 YouTube Content ID）上进行测试。
• 使用随机噪声作为基线，用于比较对抗扰动的有效性与可感知性。

实验结果

研究问题

• RQ1 基于梯度的对抗攻击能否成功规避 YouTube Content ID 和 AudioTag 等工业级版权检测系统？
• RQ2 在不同音频指纹识别系统之间，代理模型生成的对抗样本向真实世界系统迁移的能力如何比较？
• RQ3 规避检测所需的最小扰动幅度是多少？这些扰动对人类听觉感知的可察觉程度如何？
• RQ4 AudioTag 和 YouTube Content ID 在面对对抗攻击时的鲁棒性特征有何差异？
• RQ5 随机扰动与对抗扰动在规避检测方面的表现相比如何？这对系统设计有何启示？

主要发现

• 使用代理模型生成的对抗性音频成功规避了 AudioTag 和 YouTube Content ID 的检测，证明了强大的迁移能力。
• AudioTag 更为脆弱，仅需 ℓ∞ 范数为 0.03 即可欺骗系统，而 YouTube Content ID 需要更大的 ℓ∞ 范数 0.10，表明其具有更高的鲁棒性。
• 随机噪声需 ℓ∞ 范数达 0.12 才能欺骗 AudioTag，而需 0.32 才能欺骗 YouTube Content ID，表明对抗扰动显著优于随机噪声。
• 尽管扰动幅度较大，对抗性音频仍对人类听觉保持可识别性，表明此类攻击具有实际可行性和隐蔽性。
• 结果表明 AudioTag 的架构可能与代理模型相似，解释了其对相同攻击的高敏感性。
• 本研究证实，基于神经网络的版权检测系统易受对抗攻击影响，强调了提升系统鲁棒性的必要性。