[논문 리뷰] Property-Directed Verification of Recurrent Neural Networks

Igor Khmelnitsky, Daniel Neider외 7명|arXiv (Cornell University)|2020. 09. 22.

Machine Learning and Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 정규 스펙리피케이션에 대해 순환 신경망(RNNs)을 검증하기 위한 새로운 방법인 성질 지향 검증(PDV)을 제안한다. 이 방법은 앤클라인의 L* 학습 알고리즘과 모델 체킹을 통합한 접근 방식을 사용한다. 목표 성질로 학습 과정을 유도함으로써 PDV는 RNN의 구조적 결함를 드러내는 짧고 일반화 가능한 반례를 효율적으로 발견한다. 이는 표준 통계적 모델 체킹 및 추상화 기반 방법보다 반례의 품질과 효율성 면에서 뛰어나다.

ABSTRACT

This paper presents a property-directed approach to verifying recurrent neural networks (RNNs). To this end, we learn a deterministic finite automaton as a surrogate model from a given RNN using active automata learning. This model may then be analyzed using model checking as verification technique. The term property-directed reflects the idea that our procedure is guided and controlled by the given property rather than performing the two steps separately. We show that this not only allows us to discover small counterexamples fast, but also to generalize them by pumping towards faulty flows hinting at the underlying error in the RNN.

연구 동기 및 목표

• 사이버-물리 시스템과 같은 안전이 중요한 애플리케이션에서 RNN의 공식적 검증에 대한 증가하는 필요를 해결하기 위해.
• RNN의 잠재적으로 무한하거나 너무 큰 상태 공간으로 인해 전통적 모델 체킹이 RNN에 적용될 수 없는 한계를 극복하기 위해.
• 문법 추론과 모델 체킹을 성질 지향적으로 통합한 검증 프레임워크를 개발하여 반례의 품질과 효율성을 향상시키기 위해.
• 유한 오ート마타 추상화를 활용하여 RNN의 잘못된 분류(오분류된 시퀀스)와 구조적 오류를 탐지할 수 있도록 하기 위해.
• 성질 지향 학습이 표준 통계적 모델 체킹이나 추상화 기반 접근 방식보다 더 통찰력 있고 일반화 가능한 반례를 도출할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 멤버십 쿼리와 등가성 쿼리를 기반으로 RNN의 서브모델로 사용할 수 있는 결정성 유한 오차모타(DFA)를 점진적으로 학습하기 위해 앤클라인의 L* 알고리즘을 사용한다.
• 각 반복 단계에서 학습된 가설 DFA는 고전적 모델 체킹을 사용하여 스펙리피케이션 DFA와 포함 관계 $ L(H) \subseteq L(A) $ 를 검증한다.
• 가설에서 반례가 발견되었지만 스펙리피케이션에는 없는 경우, 이를 RNN에 대해 검증하고 확인되면 가설을 개선하는 데 사용한다.
• 과정은 목표 성질에 의해 유도되어 학습과 검증이 동시에 진행되며, 반례는 펌핑을 통해 일반화되어 RNN의 잠재적 결함를 드러낸다.
• 등가성 쿼리를 해결하기 위해 통계적 모델 체킹을 사용하여 오차 확률이 제한된 확률을 보장하며, 사용자가 정의한 신뢰 수준까지 정확성을 확보한다.
• 이중 스펙리피케이션 사용을 통해 오분류(오류) 탐지($ L(R) \subseteq L(A) $)와 부족 분류(오류) 탐지($ L(R) \subseteq \overline{L(A)} $)를 모두 지원한다.

실험 결과

연구 질문

• RQ1 문법 추론과 모델 체킹의 성질 지향 통합이 표준 통계적 모델 체킹보다 RNN에 대해 더 간결하고 통찰력 있는 반례를 도출할 수 있는가?
• RQ2 PDV가 발견한 반례의 품질과 길이가 통계적 모델 체킹(SMC)과 추상화 기반 모델 체킹(AAMC)에 비해 어떻게 다른가?
• RQ3 PDV의 반례가 펌핑을 통해 얼마나 일반화되어 RNN 행동의 체계적 오류를 드러낼 수 있는가?
• RQ4 학습된 DFA의 크기가 검증 과정의 효율성과 확장성에 어떤 영향을 미치는가?
• RQ5 복잡한 시간적 네트워크에서 훈련된 RNN을 효율적으로 검증하면서 의도하지 않은 간선 연결이나 경로 오분류를 탐지할 수 있는가?

주요 결과

• PDV는 평균 길이가 2인 반례를 발견하여 SMC의 평균 13.1보다 훨씬 짧게, RNN 오류에 대한 더 해석 가능하고 실행 가능한 통찰을 제공한다.
• PDV의 평균 실행 시간은 1회 검증당 0.41초로, SMC(0.48초)와 유사하지만 AAMC(655.68초)에 비해 극적으로 빠르며, 뛰어난 효율성을 보였다.
• PDV에서 추출된 DFA 크기의 평균은 2에 불과하여 RNN이 최소 오차모타로 효과적으로 근사될 수 있음을 시사하며, AAMC는 평균 124.14개 상태가 필요해 더 높은 복잡성을 보였다.
• 7개의 실세계 시간 네트워크 사례 모두에서 PDV는 RNN이 접촉 시퀀스에 대해 훈련된 후 간과하거나 불필요한 간선을 포함한 구조적 결함를 성공적으로 탐지했다.
• PDV의 반례는 펌핑을 통해 일반화되었으며, XML 유사 시퀀스에서 누락된 닫는 태그와 같은 전체 유형의 오류 행동를 식별할 수 있었다.
• 사용자가 정의한 오차 확률 수준까지 정확성을 확보하면서도 반례 보고의 정확성을 유지하여, 정당성과 효율성을 동시에 확보했다.