[논문 리뷰] The Neural Network Pushdown Automaton: Model, Stack and Learning Simulations

Guo-Zheng Sun, C. Lee Giles외 2명|arXiv (Cornell University)|2017. 11. 15.

Machine Learning and Algorithms인용 수 15

한 줄 요약

이 논문은 결정론적 문맥 자유 문법을 학습하기 위해 순환 신경망과 연속적이고 미분 가능한 스택을 결합한 신경망 스택 오토마타(NNPDA)를 제안한다. 경사 하강법을 통해 공동 오차 함수를 최적화함으로써 모델은 네트워크와 스택 동작을 동시에 학습하고, 양자화를 통해 이산적 PDA를 추출한다. 주요 결과는 추출된 PDA가 1^n0^n 및 팰린드롬과 같은 문법에서 임의의 길이를 가진 미리 보지 않은 문자열을 정확히 인식하며, 원본 문법의 PDA와 정확히 일치한다는 것이다.

ABSTRACT

In order for neural networks to learn complex languages or grammars, they must have sufficient computational power or resources to recognize or generate such languages. Though many approaches have been discussed, one ob- vious approach to enhancing the processing power of a recurrent neural network is to couple it with an external stack memory - in effect creating a neural network pushdown automata (NNPDA). This paper discusses in detail this NNPDA - its construction, how it can be trained and how useful symbolic information can be extracted from the trained network. In order to couple the external stack to the neural network, an optimization method is developed which uses an error function that connects the learning of the state automaton of the neural network to the learning of the operation of the external stack. To minimize the error function using gradient descent learning, an analog stack is designed such that the action and storage of information in the stack are continuous. One interpretation of a continuous stack is the probabilistic storage of and action on data. After training on sample strings of an unknown source grammar, a quantization procedure extracts from the analog stack and neural network a discrete pushdown automata (PDA). Simulations show that in learning deterministic context-free grammars - the balanced parenthesis language, 1*n0*n, and the deterministic Palindrome - the extracted PDA is correct in the sense that it can correctly recognize unseen strings of arbitrary length. In addition, the extracted PDAs can be shown to be identical or equivalent to the PDAs of the source grammars which were used to generate the training strings.

연구 동기 및 목표

• 유한 상태 오토마타를 초월하는 순환 신경망의 계산 능력을 향상시키기 위해 외부 스택을 통합함으로써 계산 능력을 향상시키는 것.
• 균형 잡힌 괄호 및 팰린드롬과 같은 결정론적 문맥 자유 문법을 학습하고 추론할 수 있도록 신경망을 가능하게 하는 것.
• 연속적이고 기울기 기반 학습이 가능한 연속적이고 미분 가능한 스택 메커니즘을 개발하는 것.
• 학습된 아날로그 네트워크와 스택에서 이산적이고 해석 가능한 스택 오토마타(PDA)를 추출하여 상징적 분석을 수행하는 것.
• 유추된 PDA가 훈련 데이터를 생성한 원본 문법의 PDA와 동일한지 검증하는 것. 이는 긴 문자열에 대해서도 적용됨.

제안 방법

• 유한한 순환 신경망과 연속적이고 미분 가능한 스택 메모리를 결합한 하이브리드 NNPDA 모델을 제안한다.
• 스택 동작(push, pop, no-op)이 연속적이고 미분 가능하도록 아날로그 스택을 설계하여 기울기 기반 학습을 가능하게 한다.
• 신경망 상태 전이 학습과 스택 동작 학습을 결합하는 공동 오차 함수를 정의한다.
• 에러의 네트워크 가중치 및 스택 파라미터에 대한 기울기를 계산하기 위해 실시간 순환 학습(RTRL)을 사용한다.
• 학습 후, 양자화 절차를 적용하여 학습된 아날로그 스택과 네트워크를 이산적 PDA로 변환한다.
• 스택 동역학과 시그모이드 활성화 함수의 도함수를 사용하여 기울기 업데이트를 유도하며, 이는 짧은 문자열 또는 포화된 동작 값 조건에서 유효한 근사이다.

실험 결과

연구 질문

• RQ1 연속적 스택을 갖는 신경망이 1^n0^n 및 팰린드롬과 같은 결정론적 문맥 자유 문법을 학습할 수 있는가?
• RQ2 미분 가능한 스택을 기반으로 신경망 상태와 스택 동작을 함께 최적화하는 것이 기울기 하강법을 통해 가능할 수 있는가?
• RQ3 학습된 아날로그 NNPDA에서 신뢰성 있게 이산적이고 해석 가능한 PDA를 추출할 수 있는가?
• RQ4 추출된 PDA는 목표 문법의 임의의 길이의 미리 보지 않은 문자열을 정확히 인식하는가?
• RQ5 추출된 PDA는 훈련 문자열을 생성한 원본 문법의 PDA와 동치인가?

주요 결과

• NNPDA는 균형 잡힌 괄호 언어 1^n0^n 및 결정론적 팰린드롬을 포함한 결정론적 문맥 자유 문법을 성공적으로 학습하였다.
• 학습 후, 양자화 절차를 통해 이산적 PDA를 추출하였고, 이는 임의의 길이의 미리 보지 않은 문자열을 정확히 인식하였다.
• 추출된 PDA는 훈련 데이터를 생성한 원본 문법의 PDA와 동일하거나 동치로 확인되었다.
• 모델은 훈련 중에 관찰된 문자열보다 긴 문자열에 대해서도 정확한 일반화를 달성하여 강건성을 입증하였다.
• 미분 가능한 스택을 통한 기울기 기반 학습은 네트워크 상태와 스택 동작의 효과적인 공동 학습을 가능케 하였다.
• 이론적 유도 및 근사(예: 식 A-13)는 짧은 문자열 길이 또는 포화된 동작 값 조건에서 검증되었다.