[논문 리뷰] A Comparative Study of Rule Extraction for Recurrent Neural Networks

Qinglong Wang, Kaixuan Zhang외 4명|arXiv (Cornell University)|2018. 01. 16.

Machine Learning and Algorithms참고 문헌 35인용 수 12

한 줄 요약

이 논문은 복잡도가 다른 일곱 종류의 Tomita 문법에서 다섯 가지 순환 신경망 아키텍처—Elman-RNN, 2차 RNN, MI-RNN, LSTM, GRU—로부터 결정성 유한 오토마타(DFA)를 통한 규칙 추출을 비교한다. 분석 결과, 2차 RNN은 복잡한 문법에서조차도 일관되게 높은 정확도와 안정성을 확보하며 다른 모델들을 압도적으로 뛰어넘는다. 반면 간단한 모델인 Elman-RNN는 특정 작업에서 성공률가 10% 이하로 떨어지는 등 어려움을 겪는다.

ABSTRACT

Understanding recurrent networks through rule extraction has a long history. This has taken on new interests due to the need for interpreting or verifying neural networks. One basic form for representing stateful rules is deterministic finite automata (DFA). Previous research shows that extracting DFAs from trained second-order recurrent networks is not only possible but also relatively stable. Recently, several new types of recurrent networks with more complicated architectures have been introduced. These handle challenging learning tasks usually involving sequential data. However, it remains an open problem whether DFAs can be adequately extracted from these models. Specifically, it is not clear how DFA extraction will be affected when applied to different recurrent networks trained on data sets with different levels of complexity. Here, we investigate DFA extraction on several widely adopted recurrent networks that are trained to learn a set of seven regular Tomita grammars. We first formally analyze the complexity of Tomita grammars and categorize these grammars according to that complexity. Then we empirically evaluate different recurrent networks for their performance of DFA extraction on all Tomita grammars. Our experiments show that for most recurrent networks, their extraction performance decreases as the complexity of the underlying grammar increases. On grammars of lower complexity, most recurrent networks obtain desirable extraction performance. As for grammars with the highest level of complexity, while several complicated models fail with only certain recurrent networks having satisfactory extraction performance.

연구 동기 및 목표

• 다양한 순환 신경망 아키텍처에서 결정성 유한 오토마타(DFA)를 통한 상징적 규칙 추출이 가능한지, 효과적인지 조사하기 위해.
• 기초가 되는 정규 문법의 복잡도가 RNN 내 DFA 추출 성능에 어떤 영향을 미치는지 분석하기 위해.
• 표준화된 벤치마크 세트에서 여러 RNN 모델 간에 추출된 DFA의 성공률 및 품질을 평가하고 비교하기 위해.
• RNN에서 상징적 지식 추출을 향상 또는 저해하는 아키텍처적 및 학습적 요인을 규명하기 위해.

제안 방법

• 세 개의 Tomita 문법을 두 가지 복잡도 지표인 엔트로피와 평균 편집 거리로 공식적으로 분류하기 위해.
• 각 Tomita 문법에서 학습을 위해 다섯 가지 순환 네트워크 아키텍처—Elman-RNN, 2차 RNN, MI-RNN, LSTM, GRU—를 훈련하여 언어를 학습하기 위해.
• RNN의 은닉 상태 공간을 유한 상태로 분할하고 입력 기호에 기반해 전이 규칙을 유추하는 일반적인 복합적 DFA 추출 방법을 적용하기 위해.
• 성능 평가를 위해 두 가지 지표를 사용하기 위해: (1) 추출된 DFA의 품질(예: 정확성 및 완전성), (2) 유일한 목표 DFA를 회복한 성공률.
• 모델-문법 쌍 당 다수의 무작위 시도를 수행하여 결과의 통계적 신뢰성을 확보하기 위해.
• 추출된 DFA를 사용해 모델 간 행동을 비교하고, 아키텍처 간 상징적 규칙 추출의 안정성과 정확도를 평가하기 위해.

실험 결과

연구 질문

• RQ1 정규 문법의 복잡도가 훈련된 순환 네트워크에서 DFA 추출 성공률에 어떤 영향을 미치는가?
• RQ2 다양한 문법에서 가장 정확하고 안정적인 DFA 추출 성능을 보이는 순환 네트워크 아키텍처는 무엇인가?
• RQ3 2차 상호작용 또는 게이트 메커니즘과 같은 아키텍처 구성 요소가 상징적 규칙 추출에 어떤 영향을 미치는가?
• RQ4 특정 RNN이 특정 문법에서 정확한 DFA를 추출하지 못하는 경우가 있으며, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 활성화 함수의 선택(예: tanh 대비 ReLU)이 DFA 추출 성능에 어떤 영향을 미치는가?

주요 결과

• 저복잡도 Tomita 문법(예: 문법 1)에서는 모든 모델이 높은 성공률를 기록하며, 특히 2차 RNN과 MI-RNN이 뛰어난 성능을 보였다.
• 중간 복잡도의 문법에서는 대부분의 모델이 성공률가 50% 이하에 머물렀고, 2차 RNN만이 다른 모델들보다 훨씬 높은 정확도를 유지했다.
• 가장 복잡한 문법(문법 5 및 6)에서는 오직 2차 RNN과 MI-RNN만이 정확한 DFA를 성공적으로 추출했고, 나머지 모든 모델은 실패했다.
• tanh 활성화 함수를 사용한 Elman-RNN는 문법 2에서 높은 DFA 품질(정확도 약 100%)을 기록했지만 성공률는 10%에 머물러 있어, DFA 품질과 정확한 구조 복원 간의 괴리가 있음을 시사했다.
• 2차 RNN은 모든 문법에서 가장 안정적이고 일관된 DFA 추출 성능를 보였으며, 복잡한 작업에서조차도 LSTM과 GRU를 능가했다.
• 결과는 2차 RNN과 MI-RNN에서처럼 이차 상호작용 메커니즘이 DFA 추출에 적합한 공간적으로 분리 가능한 은닉 상태를 생성하는 데 더 유리하다는 것을 시사한다.