[논문 리뷰] Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages

Mirac Süzgün, Sebastian Gehrmann외 2명|arXiv (Cornell University)|2019. 11. 08.

Music and Audio Processing참고 문헌 45인용 수 29

한 줄 요약

이 논문은 스택 기반 계산을 모방함으로써 일반화된 딕 언어(D_n, n ≤ 6)를 성공적으로 학습하는 세 가지 메모리 증강 RNN 아키텍처—Stack-RNN, Stack-LSTM, Baby-NTM—을 소개한다. 이 모델들은 계층적이고 중첩된 괄호 구조를 인식하는 데 거의 완벽한 정확도를 달성하여, 유한 정밀도를 가진 신경망이 문맥 자유 언어에 필수적인 스택 기반 연산을 습득할 수 있음을 처음으로 입증한다.

ABSTRACT

We introduce three memory-augmented Recurrent Neural Networks (MARNNs) and explore their capabilities on a series of simple language modeling tasks whose solutions require stack-based mechanisms. We provide the first demonstration of neural networks recognizing the generalized Dyck languages, which express the core of what it means to be a language with hierarchical structure. Our memory-augmented architectures are easy to train in an end-to-end fashion and can learn the Dyck languages over as many as six parenthesis-pairs, in addition to two deterministic palindrome languages and the string-reversal transduction task, by emulating pushdown automata. Our experiments highlight the increased modeling capacity of memory-augmented models over simple RNNs, while inflecting our understanding of the limitations of these models.

연구 동기 및 목표

• 메모리 증강 RNN이 계층적 구조를 요구하는 스택 기반 메커니즘을 필요로 하는 일반화된 딕 언어를 학습할 수 있는지 조사하기 위해.
• 향상된 RNN이 장거리 의존성과 중첩된 구조를 포함하는 복잡한 시퀀스 모델링 작업을 수행할 수 있는 능력을 평가하기 위해.
• 명시적인 스택 연산이 필요한 작업에서 기존 RNN과 LSTMs에 비해 메모리 증강 모델의 성능을 비교하기 위해.
• 학습 과정에서 메모리 증강 네트워크의 내부 역학을 분석하여, 이들이 푸시다 자동기계를 모방하는지 확인하기 위해.
• 이전 연구에서 표준 RNN과 일부 메모리 증강 모델이 D_2와 D_3와 같은 딕 언어를 학습하지 못한 데 기인한 모순을 해결하기 위해.

제안 방법

• 외부 일차원 메모리로 스택 유사 연산을 통합한 세 가지 메모리 증강 RNN 변종—Stack-RNN, Stack-LSTM, Baby-NTM—을 제안한다.
• 합성 데이터셋(딕 언어와 팰린드롬 작업 포함)을 대상으로 시퀀스 예측 및 시퀀스 변환 프레임워크를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 메모리가 기호를 저장하고 입력 토큰과 모델의 결정에 기반해 푸시/팝 연산을 지원하도록 스택 메커니즘을 구현한다.
• 변환 작업에서 메모리 반전과 스택 기반 출력 생성을 유도하기 위해 마커 기호(예: #)를 사용한다.
• 추론 중 숨겨진 상태와 메모리 내용을 시각화하여 스택 모방 행동을 확인한다.
• 메모리 차원과 모델 아키텍처를 변화시켜 성능 요인을 분리하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 메모리 증강 RNN은 계층적이고 중첩된 매칭이 필요한 D_n 언어(D_n, n > 1)를 학습할 수 있는가?
• RQ2 왜 표준 RNN과 LSTMs는 D_2와 D_3를 학습하지 못하는 반면, 메모리 증강 모델은 성공하는가?
• RQ3 메모리 차원이 MARNN이 복잡한 시퀀스 작업(예: 문자열 뒤집기)을 학습하는 데 미치는 영향은 무엇인가?
• RQ4 MARNN은 푸시다 자동기계를 모방하는 방식으로 학습하는가? 이는 내부 상태 시각화를 통해 검증할 수 있는가?
• RQ5 팰린드롬 및 문자열 뒤집기 작업에서 성능 저하가 발생하는 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 MARNN은 D_2, D_3, D_6 언어를 거의 완벽한 테스트 정확도로 학습하여, 신경망이 일반화된 딕 언어를 학습하는 데 성공한 최초의 사례로 기록된다.
• 모든 MARNN 모델은 입력 및 출력 알파벳이 서로 겹치지 않는 결정론적 호모모르픽 팰린드롬과 문자열 뒤집기 작업에서 100% 정확도를 달성했다.
• 팰린드롬 작업에서 입력과 출력 반의 알파벳이 겹칠 경우, 90회의 시도 중 87회에서 실패했으며, 이는 공유 기호로 인한 혼동을 시사한다.
• 메모리 차원을 1에서 5로 증가시킴으로써 문자열 뒤집기 작업의 실패를 해결하고 거의 완벽한 정확도를 복원했으며, 이는 메모리 용량이 국소 최적점 회피에 중요한 역할을 함을 확인한다.
• 메모리 상태의 시각화 결과, MARNN이 첫 번째 반에서는 기호를 푸시하고 # 마커 이후에는 역순으로 팝하여 푸시다 자동기계를 모방하는 방식으로 학습하는 것으로 확인되었다.
• 모든 작업에서 기존 RNN과 LSTMs보다 뛰어난 성능을 보였으며, 외부 메모리가 계층적 구조에 대한 모델링 능력을 크게 향상시킨다는 점을 입증했다.