[논문 리뷰] On the Computational Power of RNNs

Samuel A. Korsky, Robert C. Berwick|arXiv (Cornell University)|2019. 06. 14.

Machine Learning and Algorithms참고 문헌 13인용 수 19

한 줄 요약

이 논문은 실용적인 순환 신경망(RNNs)과 게이트형 순환 유닛(GRUs)의 계산적 한계를 규명한다. 유한 정밀도 RNNs에 ReLU 활성화 함수를 적용한 경우, 이는 결정성 유한 오토마타(DFAs)와 동등한 계산 능력을 지닌다. 반면 무한 정밀도 RNNs에 ReLU를 적용한 경우, 문맥 자유 문법을 인식할 수 있으며, 이는 스택 오토마타와 동등하다. 무한 정밀도를 가진 GRUs와 비선형 출력 함수를 갖춘 경우에도 스택 오토마타의 계산 능력을 달성함으로써, 표준 아키텍처가 이론적으로 계층적인 언어적 구조를 포착할 수 있음을 보여준다.

ABSTRACT

Recent neural network architectures such as the basic recurrent neural network (RNN) and Gated Recurrent Unit (GRU) have gained prominence as end-to-end learning architectures for natural language processing tasks. But what is the computational power of such systems? We prove that finite precision RNNs with one hidden layer and ReLU activation and finite precision GRUs are exactly as computationally powerful as deterministic finite automata. Allowing arbitrary precision, we prove that RNNs with one hidden layer and ReLU activation are at least as computationally powerful as pushdown automata. If we also allow infinite precision, infinite edge weights, and nonlinear output activation functions, we prove that GRUs are at least as computationally powerful as pushdown automata. All results are shown constructively.

연구 동기 및 목표

• 실제 NLP에서 사용되는 표준 RNNs와 GRUs의 이론적 계산 능력을 규명하는 것.
• 이 모델들이 문맥 자유 언어, 예를 들어 중첩되거나 균형 잡힌 문법적 구조를 가진 언어를 인식할 수 있는지 조사하는 것.
• 활성화 함수, 정밀도, 아키텍처가 계산 표현력에 미치는 영향을 명확히 하는 것.
• NLP에서의 경험적 성공과 이러한 모델이 실제로 계산할 수 있는 능력에 대한 이론적 이해 사이의 격차를 메우는 것.

제안 방법

• 유한 정밀도 RNN의 은닉 상태에서 결정성 유한 오토마타(DFAs)를 구성하여, DFAs와의 동등성을 증명하는 것.
• 구성적 증명을 통해 무한 정밀도 RNNs에 ReLU 활성화 함수를 적용한 경우 스택 오토마타(PDAs)를 시뮬레이션할 수 있음을 보이는 것.
• 무한 정밀도, 무한한 간선 가중치, 비선형 출력 함수를 갖춘 GRUs가 또한 스택 오토마타를 시뮬레이션할 수 있음을 보여주는 것.
• 입력에 따라 은닉 상태의 변화를 분석하여 RNNs와 GRUs가 언어 인식을 위해 상태 정보를 어떻게 유지하고 갱신하는지 보여주는 것.
• 사전 정의된 집합 S에 속하는 최종 출력 값에 의해 수락을 정의함으로써, 공식적인 언어 인식을 가능하게 하는 것.
• 자동화 이론의 이론적 모델을 활용하여 신경망 아키텍처의 계산 능력을 분석하는 것.

실험 결과

연구 질문

• RQ1 유한 정밀도 RNNs에 ReLU 활성화 함수를 적용한 경우, 모든 정규 언어를 인식할 수 있는가?
• RQ2 정밀도가 제한된 표준 RNNs의 계산 능력에 이론적 한계가 존재하는가?
• RQ3 무한 정밀도 RNNs에 ReLU 활성화 함수를 적용한 경우, Dyck 언어와 같은 문맥 자유 언어를 인식할 수 있는가?
• RQ4 표준 활성화 함수와 무한 정밀도를 갖춘 GRUs가 스택 오토마타의 표현력을 달성하는가?
• RQ5 RNNs나 GRUs가 PDAs를 시뮬레이션하기 위해 필요한 아키텍처나 정밀도 조건은 무엇인가?

주요 결과

• ReLU 활성화 함수를 갖는 유한 정밀도 RNNs와 한 개의 은닉층은 결정성 유한 오토마타(DFAs)와 정확히 동일한 계산 능력을 지닌다.
• ReLU 활성화 함수를 갖는 무한 정밀도 RNNs는 적어도 스택 오토마타(PDAs)만큼의 계산 능력을 지닌다. 즉, 문맥 자유 언어를 인식할 수 있다.
• 무한 정밀도, 무한한 간선 가중치, 비선형 출력 함수를 갖춘 GRUs 역시 적어도 스택 오토마타(PDAs)만큼의 계산 능력을 지닌다.
• 증명은 구성적 방법을 사용하여, a^n b^n와 같은 언어를 시뮬레이션할 수 있는 명시적인 네트워크 구성이 존재함을 보여준다.
• 이전 연구들과 달리 특수한 활성화 함수가 필요로 하지 않는 표준 순차 입력 처리 및 일반적인 활성화 함수의 가정 하에 결과가 유지된다.
• 이 연구는 표준 RNNs와 GRUs가 충분한 정밀도를 확보할 경우, 원칙적으로 계층적인 언어적 구조를 모델링할 수 있음을 명확히 한다.