[論文レビュー] POPQORN: Quantifying Robustness of Recurrent Neural Networks

Ching-Yun Ko, Zhaoyang Lyu+4 more|arXiv (Cornell University)|May 17, 2019

Adversarial Robustness in Machine Learning被引用数 42

ひとこと要約

POPQORN は、敵対的摂動の下で出力から入力へ直線的境界を伝搬することにより、RNNs（ベーシックな RNN、LSTM、GRU）の頑健性保証を定量化する一般的なフレームワークを提供します。

ABSTRACT

The vulnerability to adversarial attacks has been a critical issue for deep neural networks. Addressing this issue requires a reliable way to evaluate the robustness of a network. Recently, several methods have been developed to compute $ extit{robustness quantification}$ for neural networks, namely, certified lower bounds of the minimum adversarial perturbation. Such methods, however, were devised for feed-forward networks, e.g. multi-layer perceptron or convolutional networks. It remains an open problem to quantify robustness for recurrent networks, especially LSTM and GRU. For such networks, there exist additional challenges in computing the robustness quantification, such as handling the inputs at multiple steps and the interaction between gates and states. In this work, we propose $ extit{POPQORN}$ ($ extbf{P}$ropagated-$ extbf{o}$ut$ extbf{p}$ut $ extbf{Q}$uantified R$ extbf{o}$bustness for $ extbf{RN}$Ns), a general algorithm to quantify robustness of RNNs, including vanilla RNNs, LSTMs, and GRUs. We demonstrate its effectiveness on different network architectures and show that the robustness quantification on individual steps can lead to new insights.

研究の動機と目的

• 敵対的摂動に対する RNN 分類器の頑健性評価を動機付ける。
• 検証ベースの頑健性定量化を前方伝播ネットから再帰的アーキテクチャへ拡張する。
• vanilla RNN、LSTMs、GRUs をサポートする一般的で移植可能な境界付けフレームワークを開発する。
• l_p摂動の下で頑健性保証を計算する閉形式境界と実用的アルゴリズムを提供する。

提案手法

• 層ごとの境界を用いて非線形活性化を線形関数で境界化し、出力から入力へ後向き伝搬する。
• LSTM のゲートにおけるクロス非線形性を、クロス項を平面で境界化して扱う。
• vanilla RNN、LSTM、GRU の明示的な上限・下限境界式を導出する（付録の定理 A.2, A.3–A.7）。
• 境界式を最大化/最小化し、Holder の不等式を適用してグローバルな頑健性境界を計算する。
• 頑健性保証を生み出す最大の摺動半径 epsilon を見つけるための二分探索ベースの手順を定式化する。
• 従来の頑健性定量化手法（認定境界および CLEVER-RNN）に対する比較分析フレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 ノルムが制限された敵対的摂動の下で、RNN に対する頑健性境界をどのように計算できるか？
• RQ2 クロス非線性を含むことを含め、vanilla RNN、LSTMs、GRUs に対して保証された下限・上限境界を提供する統合フレームワークは実現できるか？
• RQ3 個々の時刻における境界を評価する際、ステップごとの頑健性の洞察はどのように現れるか？
• RQ4 RNN の逐次入力に対する摂動半径と認定頑健性保証との関係はどうなるか？

主な発見

• POPQORN は epsilon 境界付き入力摂動の下で RNN 出力に対する明示的な線形の上限と下限境界を提供します。
• このフレームワークは、ゲートのクロス非線性を含む扱いを含め、vanilla RNN、LSTM、GRU を保証付きで扱います。
• 活性化の境界化直線と LSTMs のクロス項の境界化平面により、出力から入力へ境界を再帰的に伝搬できます。
• 各出力次元 j に対してグローバル境界 gamma^L_j および gamma^U_j を計算でき、頑健性認証を可能にします。
• 分類の頑健性を保持する最大の epsilon を計算するための二分探索手順が提案されており、非ターゲット/ターゲットのいずれにも適用可能です。