[논문 리뷰] POPQORN: Quantifying Robustness of Recurrent Neural Networks

Ching-Yun Ko, Zhaoyang Lyu외 4명|arXiv (Cornell University)|2019. 05. 17.

Adversarial Robustness in Machine Learning인용 수 42

한 줄 요약

POPQORN은 출력에서 입력으로의 선형 경계를 역전파하여 적대적 섭동 하에서 RNNs(바닐라 RNN, LSTMs, GRUs)에 대한 강건성 보장을 정량화하는 일반적 프레임워크를 제공합니다.

ABSTRACT

The vulnerability to adversarial attacks has been a critical issue for deep neural networks. Addressing this issue requires a reliable way to evaluate the robustness of a network. Recently, several methods have been developed to compute $ extit{robustness quantification}$ for neural networks, namely, certified lower bounds of the minimum adversarial perturbation. Such methods, however, were devised for feed-forward networks, e.g. multi-layer perceptron or convolutional networks. It remains an open problem to quantify robustness for recurrent networks, especially LSTM and GRU. For such networks, there exist additional challenges in computing the robustness quantification, such as handling the inputs at multiple steps and the interaction between gates and states. In this work, we propose $ extit{POPQORN}$ ($ extbf{P}$ropagated-$ extbf{o}$ut$ extbf{p}$ut $ extbf{Q}$uantified R$ extbf{o}$bustness for $ extbf{RN}$Ns), a general algorithm to quantify robustness of RNNs, including vanilla RNNs, LSTMs, and GRUs. We demonstrate its effectiveness on different network architectures and show that the robustness quantification on individual steps can lead to new insights.

연구 동기 및 목표

• 적대적 섭동에 대한 RNN 분류기의 강건한 평가를 촉진한다.
• 피드포워드 네트워크에서 순환 구조로 검증 기반 강건성 정량화를 확장한다.
• 바닐라 RNNs, LSTMs, GRUs를 지원하는 일반적이고 재사용 가능한 경계 프레임워크를 개발한다.
• l_p 섭동 하에서 강건성 보장을 계산하기 위한 닫힌 형식의 경계와 실용적인 알고리즘을 제공한다.

제안 방법

• 계층별 경계를 사용하여 비선형 활성화를 선형 함수로 바운딩하고 이를 출력에서 입력으로 역전파한다.
• LSTMs의 게이트에서 교차 항을 평면으로 경계하여 교차 비선형성을 처리한다.
• 바닐라 RNNs, LSTMs, GRUs에 대한 명시적 상한 및 하한 공식들을 도출한다 (부록의 Theorems A.2, A.3–A.7).
• bound 표현식을 최대화/최소화하고 Holder의 부등식을 적용하여 전역 강건성 경계를 계산한다.
• robustness 보장을 얻는 가장 큰 교란 반경 epsilon를 찾기 위한 이진 탐색 기반 절차를 제시한다.
• 이전 강건성 정량화 방법들(인증된 경계 및 CLEVER-RNN)에 대한 비교 분석 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 RNN의 노름-제한적 적대적 섭동 하에서 강건성 경-bound를 어떻게 계산할 수 있는가?
• RQ2 바닐라 RNNs, LSTMs, GRUs를 포함한 단일 프레임워크가 교차 비선형성을 포함한 경우에도 보장된 하한/상한을 제공할 수 있는가?
• RQ3 단계별 강건성 인사이트가 개별 시간 단계에서의 경계 평가에서 어떻게 나타나는가?
• RQ4 RNN의 순차 입력에 대한 교란 반경과 인증된 강건성 보장의 관계는 무엇인가?

주요 결과

• POPQORN은 ε-제한 입력 섭동 하에서 RNN 출력에 대한 명시적 선형 상한 및 하한을 제공합니다.
• 이 프레임워크는 바닐라 RNNs, LSTMs, GRUs를 보장과 함께 수용하며, LSTMs의 교차 비선형성도 처리합니다.
• 활성화에 대한 바운딩 라인과 LSTMs의 교차 항에 대한 바운딩 평면을 통해 출력에서 입력으로의 경계가 재귀적으로 전파됩니다.
• 각 출력 차원 j에 대해 전역 경계 gamma^L_j 및 gamma^U_j를 계산할 수 있어 강건성 인증이 가능합니다.
• 긍정적/부정적 타깃 여부에 관계없이 분류 강건성을 유지하는 최대의 epsilon을 계산하는 이진 탐색 절차가 제안됩니다.