[論文レビュー] Fast and Effective Robustness Certification for Recurrent Neural Networks.

Wonryong Ryou, Jiayu Chen+4 more|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用数 4

ひとこと要約

この論文では、サンプリングと最適化を用いたタイトな線形凸緩和と、ニューロンごとのマルチバウンド最適化を組み合わせることで、高速かつスケーラブルな再帰的ニューラルネットワーク（RNN）検証器R2を紹介する。R2は、音声分類など非自明なRNN応用分野における、初めてのロバストネス認証を可能にし、従来の手法と比較して速度で1桁以上向上しながら、視覚および音声分野の複数のRNNアーキテクチャにおいてロバストネスを成功裏に検証した。

ABSTRACT

We present a precise and scalable verifier for recurrent neural networks, called R2. The verifier is based on two key ideas: (i) a method to compute tight linear convex relaxations of a recurrent update function via sampling and optimization, and (ii) a technique to optimize convex combinations of multiple bounds for each neuron instead of a single bound as previously done. Using R2, we present the first study of certifying a non-trivial use case of recurrent neural networks, namely speech classification. This required us to also develop custom convex relaxations for the general operations that make up speech preprocessing. Our evaluation across a number of recurrent architectures in computer vision and speech domains shows that these networks are out of reach for existing methods as these are an order of magnitude slower than R2, while R2 successfully verified robustness in many cases.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）に対して効果的なロバストネス認証手法が不足している問題に取り組むこと。特に、複雑で現実世界の応用において。
• RNNに内在する非線形ダイナミクスを効果的に扱える、スケーラブルで高精度な検証フレームワークを開発すること。
• 音声分類のような非自明なRNNユースケースにおけるロバストネス認証を可能にすること。これは、従来の手法が計算的に非現実的だったため、実現できなかった。
• エンドツーエンドの検証を可能にするために、一般的な音声前処理操作に特化したカスタム凸緩和を設計すること。

提案手法

• R2は、サンプリングに基づく最適化を用いて、再帰的更新関数のタイトな線形凸緩和を計算することで、境界の品質を向上させる。
• 従来の手法で用いられる単一境界アプローチを上回る、ニューロンごとに複数の境界の凸結合を最適化する、新しい技術を採用する。
• エンドツーエンドの検証を可能にするために、音声前処理パイプラインにおける一般操作に特化したカスタム凸緩和を統合する。
• R2は、これらの緩和をスケーラブルな検証フレームワーク内に統合し、計算コストを低減しながらも精度を維持する。
• このフレームワークは、コンピュータビジョンおよび音声分野の多様なRNNアーキテクチャを処理できるように設計されている。
• 反復的最適化を用いて境界を精緻化し、タイトさと計算効率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで高精度な検証手法を、RNNに対して開発でき、従来の手法よりも速度とカバー範囲で優れているか？
• RQ2 サンプリングと最適化を用いて、RNNの非線形更新関数に対してタイトな凸緩和を効果的に計算できるか？
• RQ3 ニューロンごとのマルチバウンド最適化は、単一境界アプローチと比較して、検証の精度を顕著に向上させられるか？
• RQ4 前処理パイプラインの複雑さを考慮しても、音声分類のような現実世界のRNN応用分野におけるロバストネス認証は可能か？
• RQ5 R2は、従来の手法が計算コストが高すぎて失敗する視覚および音声分野の多様なRNNアーキテクチャにおいて、どの程度ロバストネスを検証できるか？

主な発見

• R2は、従来の手法では非現実的だった非自明な音声分類タスクにおけるRNNのロバストネスを成功裏に認証した。
• R2は、コンピュータビジョンおよび音声分野の複数のRNNアーキテクチャにおいて、ロバストネス認証を実現した。
• R2は、従来の検証手法と比較して1桁以上高速であり、実世界での導入に実用的である。
• ニューロンごとに複数の境界の凸結合を用いることで、単一境界アプローチと比較して、よりタイトで高精度な検証が可能になった。
• 音声前処理操作に特化したカスタム凸緩和のおかげで、音声分類タスクにおけるエンドツーエンドの検証が可能になった。
• R2は、従来の手法が計算コストが高すぎて失敗する場面でも、スケーラビリティと精度を示した。