[논문 리뷰] Fast and Effective Robustness Certification for Recurrent Neural Networks.

Wonryong Ryou, Jiayu Chen외 4명|arXiv (Cornell University)|2020. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 4

한 줄 요약

이 논문은 샘플링과 최적화를 통해 날카운 선형 볼록 근사화를 사용하고, 각 뉴런당 다중 경계 최적화를 수행하는 빠르고 확장 가능한 RNN 검증기인 R2를 소개한다. R2는 음성 분류와 같은 비트리비얼한 RNN 응용 분야에 대해 처음으로 강건성 검증을 가능하게 하며, 이전 방법들보다 속도 면에서 한 단계 빠르게 하면서도 다양한 RNN 아키텍처에서 시각 및 음성 분야 전반에 걸쳐 강건성 검증을 성공적으로 수행한다.

ABSTRACT

We present a precise and scalable verifier for recurrent neural networks, called R2. The verifier is based on two key ideas: (i) a method to compute tight linear convex relaxations of a recurrent update function via sampling and optimization, and (ii) a technique to optimize convex combinations of multiple bounds for each neuron instead of a single bound as previously done. Using R2, we present the first study of certifying a non-trivial use case of recurrent neural networks, namely speech classification. This required us to also develop custom convex relaxations for the general operations that make up speech preprocessing. Our evaluation across a number of recurrent architectures in computer vision and speech domains shows that these networks are out of reach for existing methods as these are an order of magnitude slower than R2, while R2 successfully verified robustness in many cases.

연구 동기 및 목표

• 복잡한 실세계 응용 분야에서 효과적인 강건성 검증 방법의 부족을 해결하기 위해.
• RNN에 내재된 비선형 동역학을 다룰 수 있는 확장 가능하고 정밀한 검증 프레임워크를 개발하기 위해.
• 이전 방법들이 계산적으로 비현실적이기 때문에 처리할 수 없었던 음성 분류와 같은 비트리비얼한 RNN 사용 사례에 대한 강건성 검증을 가능하게 하기 위해.
• 엔드 투 엔드 검증을 지원하기 위해 일반적인 음성 전처리 작업에 맞게 맞춤형 볼록 근사화를 설계하기 위해.

제안 방법

• R2는 샘플링 기반 최적화를 사용하여 순환 업데이트 함수의 날카운 선형 볼록 근사화를 계산하여 경계 품질을 향상시킨다.
• 이전 연구에서 사용된 단일 경계 접근 방식에 비해 개선된, 뉴런당 다중 경계의 볼록 조합을 최적화하는 새로운 기법을 도입한다.
• 엔드 투 엔드 검증을 지원하기 위해 음성 전처리 파이프라인의 일반적인 연산을 위한 맞춤형 볼록 근사화를 통합한다.
• 이러한 근사화를 확장 가능한 검증 프레임워크 내부에 통합하여 정밀도를 유지하면서도 계산 오버헤드를 줄인다.
• 이 프레임워크는 시각 및 음성 분야의 다양한 RNN 아키텍처를 처리하도록 설계되어 있다.
• 반복 최적화를 사용하여 경계를 정밀하게 개선함으로써 날카움과 계산 효율성 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 기존 방법들보다 속도와 커버리지 면에서 뛰어난 확장 가능하고 정밀한 검증 방법을 RNN에 대해 개발할 수 있는가?
• RQ2 샘플링과 최적화를 사용하여 RNN의 비선형 업데이트 함수에 대해 효과적으로 날카운 볼록 근사화를 계산할 수 있는가?
• RQ3 뉴런당 다중 경계 최적화가 단일 경계 방법에 비해 검증 정밀도를 크게 향상시킬 수 있는가?
• RQ4 전처리 파이프라인의 복잡성에도 불구하고 음성 분류와 같은 실세계 RNN 응용 분야에 대해 강건성 검증이 가능한가?
• RQ5 기존 방법들이 계산 비용이 지나치게 높아 실패하는 상황에서 R2는 시각 및 음성 분야의 다양한 RNN 아키텍처에서 얼마나 강건성 검증을 수행할 수 있는가?

주요 결과

• R2는 이전에 계산적으로 비현실적이었기 때문에 처리할 수 없었던 음성 분류와 같은 비트리비얼한 RNN 응용 분야에서 강건성 검증을 성공적으로 수행한다.
• R2는 시각 및 음성 분야의 여러 RNN 아키텍처에 대해 강건성 검증을 수행한다.
• R2는 기존 검증 방법들보다 한 단계 빠르게 하여 실세계 배포에 실용적이게 된다.
• 뉴런당 다중 경계의 볼록 조합을 사용함으로써 단일 경계 접근 방식에 비해 더 날카운 더 정밀한 검증 결과를 도출한다.
• 음성 전처리 작업을 위한 맞춤형 볼록 근사화 덕분에 음성 분류 작업에서 엔드 투 엔드 검증이 가능해졌다.
• 기존 방법들이 계산 비용이 지나치게 높아 실패하는 상황에서 R2는 확장성과 정밀도를 입증하였다.