[논문 리뷰] Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples

Gail Garfinkel Weiss, Yoav Goldberg외 1명|arXiv (Cornell University)|2017. 11. 27.

Machine Learning and Algorithms참고 문헌 18인용 수 61

한 줄 요약

논문은 Angluin's L* algorithm과 RNNs를 오라클로 사용하여 RNN 상태 역학을 설명하는 결정적 유한 자동자(DFA)를 추출하고, 등가성 질의에 답하기 위한 추상화를 활용하는 정확학습 기반 방법을 제시한다.

ABSTRACT

We present a novel algorithm that uses exact learning and abstraction to extract a deterministic finite automaton describing the state dynamics of a given trained RNN. We do this using Angluin's L* algorithm as a learner and the trained RNN as an oracle. Our technique efficiently extracts accurate automata from trained RNNs, even when the state vectors are large and require fine differentiation.

연구 동기 및 목표

• 훈련된 RNN-acceptor의 가용 가능한( observable) 동작을 모방하는 DFA를 추출하는 문제를 동기부여하고 형식화한다.
• 정확 학습(L* 알고리즘)과 RNN의 유한 상태 추상화를 결합한 일반 프레임워크를 제시하여 등가성 질의를 해답한다.
• 방법이 작고 정확한 DFA를 만들어내고 RNN의 일반화 간극을 나타내는 adversarial 입력을 드러내는지 입증한다.

제안 방법

• 훈련된 RNN을 L*의 교사로 다루어 회원 질의에 대해 RNN의 분류로 답한다.
• RNN 상태 공간의 유한 추상화 A^{R,p}를 사용해 L*-가 생성한 DFA A에 대한 등가성 질의를 해답하고 필요한 경우 분할 p를 정교하게 다듬는다.
• SVM 기반 분할을 통해 R-상태를 분리하고 새로운 A-상태를 생성하여 추상화를 개선하며, 이러한 정교화가 구체 입력으로 정당화되도록 한다.
• RNN과 현재 DFA 또는 그 추상화 간의 분류 충돌이 발생할 때 반례를 반환하여 추출된 자동자의 정당성을 보장한다.
• 가장 짧은 반례를 활용해 DFA를 컴팩트하게 유지하고 추출된 오토마타의 일반화를 개선한다.

실험 결과

연구 질문

• RQ1 정확 학습에서 RNN를 오라클로 사용해 관찰적으로 RNN-acceptor와 동등하게 학습될 수 있는 DFA를 학습할 수 있는가?
• RQ2 고차원 RNN 상태 공간의 유한 추상화를 사용해 정확성을 해치지 않으면서 등가성 질의를 어떻게 해답할 수 있는가?
• RQ3 추출된 DFA가 긴 시퀀스에 일반화되는가, 그리고 이 과정이 RNN의 적대적 입력이나 일반화 오차를 드러낼 수 있는가?
• RQ4 DFA의 크기와 RNN에 대한 충실도 사이의 균형을 가장 잘 맞추는 refinement 전략(SVM 기반 분할 등)은 무엇인가?
• RQ5 제안된 방법이 RNN에서 간결하고 정확한 자동자를 합성하는 기존 양자화나 임의 샘플링 접근법과 비교해 어떤 차이가 있는가?

주요 결과

• 이 방법은 Tomita 문법 및 더 복잡한 언어에 대해 GRU/LSTM 네트워크에서 정확하고 보통 작은 DFA를 몇 초 안에 추출한다.
• 양자화 기반 분할은 매우 크고 비현실적으로 큰 DFA를 초래하는 반면, 제안된 L* 기반 추상화 방법은 컴팩트하고 정확한 자동자를 생성한다.
• 이 방법은 적대적 입력과 일반화 간극을 드러내며, 무작위 샘플링으로는 놓치기 쉬운 오답 반례를 포함해 사실상 완벽해 보이는 모델에 대해서도 반례를 제시한다.
• 추출된 DFA는 실험에서 최대 길이 1000까지의 긴 시퀀스에 잘 일반화되며, 네트워크의 학습/테스트 정확도와 대등한 성능을 보인다.
• 이 프레임워크는 여러 아키텍처와 언어에서 효과를 유지하여 특정 네트워크 유형에 국한되지 않는 강건한 적용 가능성을 보여준다.