[논문 리뷰] A Comparison of Rule Extraction for Different Recurrent Neural Network Models and Grammatical Complexity.

Qinglong Wang, Kaixuan Zhang외 4명|arXiv (Cornell University)|2018. 01. 16.

Natural Language Processing Techniques인용 수 13

한 줄 요약

이 논문은 토미타 문법 세트에서 결정성 유한 오토마타(DFA)를 학습하는 데 있어 다양한 순환 신경망(RNN) 아키텍처—특히 엘먼 네트워크, 2차 RNN, 그리고 최신 RNN 유형—간의 규칙 추출 능력을 비교한다. 연구 결과, 모든 문법에서 2차 RNN이 다른 모델들보다 일관되게 높은 규칙 추출 정확도를 보이며, 문법 복잡도를 엔트로피와 평균 편집 거리로 분석한 이론적 접근이 성능의 불일치를 설명한다.

ABSTRACT

It has been shown that rules can be extracted from highly non-linear, recursive models such as recurrent neural networks (RNNs). The RNN models mostly investigated include both Elman networks and second-order recurrent networks. Recently, new types of RNNs have demonstrated superior power in handling many machine learning tasks, especially when structural data is involved such as language modeling. Here, we empirically evaluate different recurrent models on the task of learning deterministic finite automata (DFA), the seven Tomita grammars. We are interested in the capability of recurrent models with different architectures in learning and expressing regular grammars, which can be the building blocks for many applications dealing with structural data. Our experiments show that a second-order RNN provides the best and stablest performance of extracting DFA over all Tomita grammars and that other RNN models are greatly influenced by different Tomita grammars. To better understand these results, we provide a theoretical analysis of the complexity of different grammars, by introducing the entropy and the averaged edit distance of regular grammars defined in this paper. Through our analysis, we categorize all Tomita grammars into different classes, which explains the inconsistency in the performance of extraction observed across all RNN models.

연구 동기 및 목표

• 다양한 RNN 아키텍처의 정규 문법 학습에서 규칙 추출 성능을 평가하기 위해.
• 일부 RNN 모델이 다양한 토미타 문법 간에 성능이 일관되지 않은 이유를 조사하기 위해.
• 규칙 추출 성능 변동을 설명하기 위한 이론적 프레임워크를 개발하기 위해.
• 엔트로피와 평균 편집 거리를 사용하여 토미타 문법을 본질적 구조 복잡도 기준으로 분류하기 위해.

제안 방법

• 7개의 토미타 문법에서 결정성 유한 오토마타(DFA)를 학습하는 데 있어 엘먼 및 2차 RNN을 포함한 여러 RNN 아키텍처를 경험적으로 평가한다.
• 학습된 RNN 모델을 해석 가능한 논리적 규칙으로 변환하기 위해 규칙 추출 기법을 적용한다.
• 정규 문법의 엔트로피를 정의하고 계산하여 문법적 불확실성의 척도로 사용한다.
• 문법 내 문자열 간의 평균 편집 거리를 도입하여 구조적 복잡도의 척도로 사용한다.
• 이 복잡도 척도를 사용하여 토미타 문법을 성능 카테고리로 분류한다.
• 이론적 복잡도 척도와 RNN 모델 간의 관측된 규칙 추출 정확도 간 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 RNN 아키텍처는 정규 문법에서 해석 가능한 규칙을 어떻게 추출하는가?
• RQ2 왜 일부 RNN 모델은 다양한 토미타 문법 간에 규칙 추출 성능이 일관되지 않는가?
• RQ3 RNN 모델 간 규칙 추출 성능 변동을 설명하는 본질적 문법적 특성은 무엇인가?
• RQ4 엔트로피와 편집 거리를 사용하여 문법 복잡도를 공식적으로 정량화할 수 있는가, 이를 통해 규칙 추출의 난이도를 예측할 수 있는가?
• RQ5 모든 토미타 문법에서 가장 안정적이고 정확한 규칙 추출 성능를 보이는 RNN 아키텍처는 무엇인가?

주요 결과

• 2차 RNN은 7개의 모든 토미타 문법에서 가장 일관되고 높은 규칙 추출 정확도를 달성한다.
• 엘먼 네트워크 및 기타 RNN 변종은 특정 토미타 문법에 따라 성능 변동이 심하여, 문법적 구조에 민감함을 보인다.
• 제안된 복잡도 척도인 엔트로피와 평균 편집 거리는 문법 간 성능 격차를 성공적으로 설명한다.
• 이 척도를 기반으로 토미타 문법을 의미 있는 복잡도 클래스로 분류할 수 있으며, 이는 경험적 규칙 추출 결과와 일치한다.
• 엔트로피가 높고 평균 편집 거리가 큰 문법은 특히 간단한 RNN 아키텍처에서 규칙을 추출하기가 더 어려운 편이다.
• 이론적 프레임워크를 통해 학습 없이도 문법의 구조만으로 규칙 추출 난이도를 예측할 수 있다.