[논문 리뷰] Neural Networks and the Chomsky Hierarchy

Grégoire Delétang, Anian Ruoss외 9명|arXiv (Cornell University)|2022. 07. 05.

Ferroelectric and Negative Capacitance Devices인용 수 45

한 줄 요약

요약: 형식 언어 전이 과제에서 일반화 가능성을 테스트하며 신경망 아키텍처(RNN, LSTM, Transformer 및 메모리 보강 변형)를 촘촘히 분석하고, 메모리 보강 모델이 더 높은 일반화를 보이는 반면 일반 트랜스포머/ LSTM은 한계가 있음을 보여준다.

ABSTRACT

Reliable generalization lies at the heart of safe ML and AI. However, understanding when and how neural networks generalize remains one of the most important unsolved problems in the field. In this work, we conduct an extensive empirical study (20'910 models, 15 tasks) to investigate whether insights from the theory of computation can predict the limits of neural network generalization in practice. We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and training time never lead to any non-trivial generalization, despite models having sufficient capacity to fit the training data perfectly. Our results show that, for our subset of tasks, RNNs and Transformers fail to generalize on non-regular tasks, LSTMs can solve regular and counter-language tasks, and only networks augmented with structured memory (such as a stack or memory tape) can successfully generalize on context-free and context-sensitive tasks.

연구 동기 및 목표

• 표준 및 메모리 보강 신경망이 시퀀스 전이 작업에서 촘스키 계층 전반에 걸쳐 일반화하는 방식을 평가한다.
• gradient 기반 학습 하에서 정규언어, 자유언어, 맥락민감언어 및 재귀적으로 결정 가능한 언어에 필요한 알고리즘을 학습할 수 있는 아키텍처를 판단한다.
• 메모리 증강이 일반화를 높은 수준으로 이끄는 경로가 되는지 식별하고 실패 모드를 제시한다.

제안 방법

• 입력/출력 언어를 정의하고 촘스키 계층을 포괄하는 시퀀스 전이 과제 모음을 구성한다.
• 그라디언트 기반 학습으로 입력을 출력으로 매핑하도록 다양한 모델(RNN, LSTM, Transformer, Stack-RNN, Tape-RNN)을 훈련한다.
• 입력 종료를 신호하는 더미 토큰으로 비자기회귀 설정을 사용하고 출력 시퀀스에 대해 교차 엔트로피 손실을 계산한다.
• 일반화를 평가하기 위해 학습 길이보다 긴 분포 밖의 시퀀스(N+1에서 M)로 테스트하고 과제별 정확도를 보고한다.
• 학습된 알고리즘을 해석하기 위해 내부 표현과 기억 다이나믹스를 분석한다(예: 스택/테이프 사용).
• 재현성을 위해 벤치마크, 모델, 과제를 공개한다.

실험 결과

연구 질문

• RQ1 표준 및 메모리 보강 신경망이 각 촘스키 계층 수준에서 학습 길이를 넘어 더 긴 시퀀스로 일반화할 수 있는가?
• RQ2 어떤 아키텍처(RNN, LSTM, Transformer, Stack-RNN, Tape-RNN)가 gradient 기반 학습 하에서 정규언어, 자유언어, 맥락민감언어, 재귀적으로 결정 가능한 언어에 해당하는 과제를 해결할 수 있는가?
• RQ3 메모리 보강(Stack, Tape)이 정규언어를 넘어선 일반화를 가능하게 하는가, 가능하다면 범위는 어느 정도인가?
• RQ4 다양한 위치 인코딩을 가진 Transformer가 비치환 불변성 작업에 얼마나 잘 적응하고 더 긴 시퀀스로 외삽하는가?

주요 결과

• RNN은 정규 언어까지 일반화하고; Stack-RNN은 맥락자유언어까지 확장하며; Tape-RNN은 맥락민감언어 수준에 도달한다; 일부 과제는 메모리 보강이 있어도 여전히 도전적이다.
• Transformer는 순열 불변 작업(Bucket Sort 등)에서 뛰어나지만, 계층의 많은 비순열 불변성 작업에서 실패하며 위치 인코딩으로 인해 장시간의 외삽에 어려움을 겪을 수 있다.
• LSTM은 카운팅 관련 과제에서 기본 RNN보다 우수하며, 일부 고차 일반화(예: Bucket Sort)를 가능하게 한다.
• 메모리 보강 모델은 해석 가능한 전략을 드러낸다: Stack-RNN은 DCF 과제에 스택 유사 해법을 학습하고; Tape-RNN은 CS 과제에서 테이프 기반 조작을 보인다.
• 용량이 증가해도 데이터만으로는 더 높은 계층 과제로의 일반화를 보장하지 않으며, 고차 일반화를 위해 구조화된 기억이 필요해 보인다.
• 연구는 시퀀스 일반화를 스트레스 테스트하기 위한 공개 벤치마크를 제공하고 알고리즘 과제에서 gradient 기반 학습의 기본 한계를 강조한다.