[论文解读] Fast and Effective Robustness Certification for Recurrent Neural Networks.

Wonryong Ryou, Jiayu Chen+4 more|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用 4

一句话总结

本文提出 R2，一种用于循环神经网络（RNNs）的快速且可扩展的验证器，通过采样和优化实现紧密的线性凸松弛，并结合每个神经元的多边界优化。R2 实现了首个针对非平凡 RNN 应用（如语音分类）的鲁棒性认证，其速度相比先前方法提升一个数量级，同时在视觉和语音领域多种 RNN 架构中成功实现鲁棒性验证。

ABSTRACT

We present a precise and scalable verifier for recurrent neural networks, called R2. The verifier is based on two key ideas: (i) a method to compute tight linear convex relaxations of a recurrent update function via sampling and optimization, and (ii) a technique to optimize convex combinations of multiple bounds for each neuron instead of a single bound as previously done. Using R2, we present the first study of certifying a non-trivial use case of recurrent neural networks, namely speech classification. This required us to also develop custom convex relaxations for the general operations that make up speech preprocessing. Our evaluation across a number of recurrent architectures in computer vision and speech domains shows that these networks are out of reach for existing methods as these are an order of magnitude slower than R2, while R2 successfully verified robustness in many cases.

研究动机与目标

• 为解决循环神经网络在复杂真实应用场景中缺乏有效的鲁棒性认证方法的问题。
• 开发一种可扩展且精确的验证框架，能够处理 RNN 中固有的非线性动态特性。
• 实现对非平凡 RNN 应用（如语音分类）的鲁棒性认证，这些应用此前因计算不可行而无法处理。
• 设计针对常见语音预处理操作的定制凸松弛，以支持端到端验证。

提出的方法

• R2 使用基于采样的优化方法，计算循环更新函数的紧密线性凸松弛，以提升边界质量。
• 采用一种新颖技术，对每个神经元的多个边界进行凸组合优化，优于先前工作中使用的单边界方法。
• 在语音预处理流水线中的一般操作中集成定制凸松弛，以支持端到端验证。
• R2 将这些松弛集成到可扩展的验证框架中，在保持精度的同时降低计算开销。
• 该框架设计用于处理计算机视觉和语音领域中的多种 RNN 架构。
• 通过迭代优化细化边界，在紧致性和计算效率之间取得平衡。

实验结果

研究问题

• RQ1 能否开发一种在速度和覆盖范围上均优于现有方法的可扩展且精确的 RNN 验证方法？
• RQ2 如何通过采样和优化有效计算 RNN 中非线性更新函数的紧密凸松弛？
• RQ3 与单边界方法相比，每个神经元的多边界优化能否显著提升验证精度？
• RQ4 考虑到预处理流水线的复杂性，对于语音分类等真实世界 RNN 应用，鲁棒性认证是否可行？
• RQ5 在先前方法因计算成本过高而失效的视觉和语音领域多种 RNN 架构中，R2 能在多大程度上实现鲁棒性验证？

主要发现

• R2 在语音分类这一非平凡且此前不可行的应用中成功实现了 RNN 的鲁棒性认证。
• 该方法在计算机视觉和语音领域的多种 RNN 架构中均实现了鲁棒性认证。
• R2 的速度比现有验证方法快一个数量级，使其在实际部署中具备可行性。
• 使用每个神经元的多个边界凸组合，相比单边界方法，能获得更紧致、更精确的验证结果。
• 针对语音预处理操作的定制凸松弛，使语音分类任务中的端到端验证成为可能。
• R2 在先前方法因计算成本过高而失效的场景中，展现出可扩展性和精度。