[논문 리뷰] Verification of Recurrent Neural Networks Through Rule Extraction

Qinglong Wang, Kaixuan Zhang외 2명|arXiv (Cornell University)|2018. 11. 14.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 13

한 줄 요약

이 논문은 순차적 데이터에서의 적대적 편향을 탐지하기 위해 RNN에서 추출한 결정성 유한 오토마타(DFA)를 대체 오라클로 사용하는 검증 프레임워크를 제안한다. 평균 편집 거리라는 지표를 도입하여 편향의 크기를 측정하고, 제곱형(hidden) 상호작용을 갖는 2차 RNN이 가장 안정적이고 정확한 DFA 추출을 가능하게 하여 Tomita 문법에서 효과적인 검증을 가능하게 한다. 이 경우, MI-RNN 및 2차 RNN 외에는 거의 어떤 모델도 적대적 샘플에 대해 강건하지 않다.

ABSTRACT

The verification problem for neural networks is verifying whether a neural network will suffer from adversarial samples, or approximating the maximal allowed scale of adversarial perturbation that can be endured. While most prior work contributes to verifying feed-forward networks, little has been explored for verifying recurrent networks. This is due to the existence of a more rigorous constraint on the perturbation space for sequential data, and the lack of a proper metric for measuring the perturbation. In this work, we address these challenges by proposing a metric which measures the distance between strings, and use deterministic finite automata (DFA) to represent a rigorous oracle which examines if the generated adversarial samples violate certain constraints on a perturbation. More specifically, we empirically show that certain recurrent networks allow relatively stable DFA extraction. As such, DFAs extracted from these recurrent networks can serve as a surrogate oracle for when the ground truth DFA is unknown. We apply our verification mechanism to several widely used recurrent networks on a set of the Tomita grammars. The results demonstrate that only a few models remain robust against adversarial samples. In addition, we show that for grammars with different levels of complexity, there is also a difference in the difficulty of robust learning of these grammars.

연구 동기 및 목표

• 기존의 메트릭과 오라클이 실패하는 순차적 데이터 응용 분야에서 RNN에 대한 검증 방법의 부족을 해결하기 위해.
• 기본 지식이 없는 경우 실제 DFA를 대체하는 추출된 DFA를 활용한 엄밀하고 자동화된 RNN 검증 프레임워크를 개발하기 위해.
• 표준 Lp 노름의 한계를 극복하기 위해 문자열 기반 순차적 데이터에서의 적대적 편향에 적합한 거리 메트릭을 정의하기 위해.
• 정규 문법에서 제안된 프레임워크를 사용하여 다양한 RNN 아키텍처의 적대적 샘플에 대한 강건성을 실증적으로 평가하기 위해.
• 문법 복잡도와 RNN의 강건한 학습 어려움 간의 관계를 탐구하기 위해.

제안 방법

• 학습된 RNN에서 결정성 유한 오토마타(DFA)를 추출하여 RNN의 결정 논리에 대한 형식적이고 해석 가능한 대체 오라클로 활용한다.
• 정규 문법이 생성하는 문자열에 적용된 적대적 편향의 크기를 측정하기 위해 새로운 메트릭으로 평균 편집 거리를 제안한다.
• 편향된 문자열이 원래 문법의 언어에 속하는지 확인하기 위해 추출된 DFA를 형식적 오라클로 사용한다.
• 제약 조건이 있는 최적화 문제로 검증 문제를 공식화하여, MILP 또는 SMT 솔버를 활용해 편향 하에서의 강건성 여부를 검사한다.
• 다양한 RNN 아키텍처에서의 적대적 강건성을 평가하기 위해 벤치마크로 사용되는 정규 언어 집합인 Tomita 문법에 프레임워크를 적용한다.
• 각 문자열 길이별로 30회의 시도를 수행하여 양성 및 음성 문자열에 대해 평균 적대적 강건성 점수(γ̄₊, γ̄₋)를 계산한다.

실험 결과

연구 질문

• RQ1 RNN에서 추출된 DFA는 실제 오라클을 대체할 수 있는 신뢰할 수 있는 대체 오라클로 작동하는가?
• RQ2 RNN 아키텍처의 선택이 순차적 데이터 검증을 위한 DFA 추출의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ3 다양한 문법(복잡도 기준)이 RNN의 적대적 편향에 대한 강건성에 어느 정도의 영향을 미치는가?
• RQ4 평균 편집 거리는 문자열 기반 데이터에서의 적대적 편향을 효과적으로 측정하고 제약 조건을 설정할 수 있는가? 동시에 언어적 타당성은 유지되는가?
• RQ5 어느 RNN 아키텍처가 장기 시퀀스로의 일반화가 가장 잘 되어 적대적 공격에 저항하는가?

주요 결과

• 제곱형 또는 근사 제곱형 은닉층 상호작용을 갖는 2차 RNN은 모든 Tomita 문법에서 가장 정확하고 안정적인 DFA 추출을 일관되게 생성하였다.
• 2차 RNN과 MI-RNN만이 모든 테스트 문법에서 완벽한 적대적 강건성(γ̄₊ = 1.00)을 달성하였으며, 적대적 샘플이 발견되지 않았다.
• Elman-RNN는 특히 문법 3에서 가장 낮은 적대적 정확도를 보였고, 문자열 길이가 증가함에 따라 성능이 심각하게 악화되어 장기 시퀀스로의 일반화가 떨어지는 것으로 나타났다.
• 문법 7은 복잡도가 가장 낮음에도 불구하고 훈련 데이터의 클래스 불균형으로 인해 높은 적대적 취약성을 보였으며, 이는 과적합의 징후로 나타났다.
• 문법 4는 복잡도가 문법 3과 유사함에도 불구하고 더 나은 강건한 학습을 보였으며, 이는 복잡도 외에도 문법의 구조적 특성이 강건성에 영향을 미친다는 것을 시사한다.
• 평균 편집 거리 메트릭은 편향의 크기를 효과적으로 포착하였고, 강건한 학습의 어려움과 상관관계를 보였으며, RNN과 문법 간의 의미 있는 비교를 가능하게 하였다.