[논문 리뷰] A Survey of Neural Networks and Formal Languages

Joshua M. Ackerman, George Cybenko|arXiv (Cornell University)|2020. 06. 02.

Natural Language Processing Techniques참고 문헌 19인용 수 5

한 줄 요약

이 종합 검토는 CNN, RNN, Transformer, 메모리 증강 신경망(MANN)과 같은 현대 신경망 아키텍처의 이론적 및 실증적 능력을, 유한 정밀도와 선형 계산 시간과 같은 현실적 제약 하에서 형식 언어를 인식하고 생성하는 데에 대해 조사한다. 연구 결과, 표준 아키텍처인 Transformer는 높은 상태 복잡도를 보이지만 점점 커지는 표현 능력은 제한되어 있는 반면, 미분 가능한 메모리를 갖춘 MANN(예: 신경 스택)은 D₁–D₆와 같은 문맥 자유 및 문맥 의존 언어에서 거의 완벽한 정확도를 달성하여, 더 뛰어난 형식 언어 인식 능력을 보임을 입증한다.

ABSTRACT

This report is a survey of the relationships between various state-of-the-art neural network architectures and formal languages as, for example, structured by the Chomsky Language Hierarchy. Of particular interest are the abilities of a neural architecture to represent, recognize and generate words from a specific language by learning from samples of the language.

연구 동기 및 목표

• 유한 정밀도와 선형 시간 복잡도와 같은 실용적 제약 조건 하에서 최신 신경망 아키텍처의 형식 언어 인식 능력을 이해하는 것.
• CNN, RNN, Transformer, 메모리 증강 신경망(MANN)과 같은 모델이 콜름스키 계층의 언어를 얼마나 잘 학습하고 표현할 수 있는지 평가하는 것.
• 이론적 분석과 실증 평가를 통해 다양한 아키텍처가 문맥 자유 및 문맥 의존 언어를 인식하는 데에 있어 표현 능력을 비교하는 것.
• 특히 SafeDocs 프로젝트가 소규모 양성 예제에서 언어 생성에 중점을 두고 있는 맥락에서, 알려지지 않은 문법에 대한 신경망의 생성 능력을 조사하는 것.

제안 방법

• 연구는 유한 정밀도와 선형 시간 복잡도의 현실적 제약 조건을 반영하는 입력 제한, 유한 정밀도 신경망(IBFP-NN)의 프레임워크를 활용한다.
• 신경 시퀀스 수용자 개념을 사용하며, 이를 입력 시퀀스(일반화된 원-핫 벡터로 인코딩)를 특정 언어에 속할 확률로 매핑하는 매개변수화된 함수로 정의한다.
• 이론적 분석은 네트워크 매개변수를 무한히 크게 허용하는 점근적 수용을 중심으로 하여 표현 능력의 상한을 평가한다.
• 실증 평가는 신경 스택과 베이비-NTM과 같은 아키텍처를 사용하여, 외부 메모리 접근과 언어 모델링을 향상시키기 위해 미분 가능한 스택 및 테이프 연산을 구현한다.
• 논문은 이전 연구를 바탕으로 D₁–D₆와 같은 벤치마크 형식 언어(카운터 언어 및 문맥 자유 언어의 변형)에서 아키텍처를 비교한다.
• 표현 능력에 미치는 메모리 증강의 영향을 분석하기 위해, 표준 RNN과 외부 메모리 아키텍처를 갖춘 MANN 간의 언어 인식 과제 성능을 비교한다.

실험 결과

연구 질문

• RQ1 CNN, RNN, Transformer와 같은 표준 신경망 아키텍처가 현실적 계산 제약 조건 하에서 콜름스키 계층의 언어를 인식할 수 있는가?
• RQ2 신경망에 미분 가능한 메모리(예: 신경 스택)를 추가하면 형식 언어 인식 능력에 어떤 영향을 미치는가?
• RQ3 유한 정밀도와 선형 시간 조건 하에서, Neural Turing Machines나 베이비-NTM과 같은 MANN이 D₆와 같은 문맥 의존 언어를 얼마나 잘 인식하는가?
• RQ4 더 높은 이론적 유연성을 지닌 복잡한 메모리 메커니즘을 갖춘 MANN(예: 베이비-NTM)이 더 단순한 구조(예: 신경 스택)보다 성능이 떨어지는 이유는 무엇인가?
• RQ5 점근적 분석은 노이즈가 있거나 실제 데이터 환경에서의 실용적 신경망 성능에 대해 어떤 함의를 지닌다?

주요 결과

• 신경 스택은 D₁, D₂, D₃, D₆ 언어 학습에서 99%–100%의 정확도를 달성하여, 문맥 자유 및 복잡한 카운터 언어에서 뛰어난 성능을 보임을 입증한다.
• 이론적 분석 결과, 피드포워드 컨트롤러를 갖춘 신경 스택은 상태 복잡도가 2^Θ(n)에 해당하여 지수적 표현 능력을 지닌다.
• 더 높은 이론적 자유도를 지닌 베이비-NTM는 동일한 언어 인식 과제에서 신경 스택보다 약간 떨어지는 성능을 보이며, 복잡성의 실증적 트레이드오프를 드러낸다.
• 표준 아키텍처인 Transformer는 높은 상태 복잡도를 보이지만 점근적 표현 능력은 제한되어 있어, 성공의 원인이 형식 언어 처리 능력보다는 아키텍처의 인덕티브 바이어스에 기인할 수 있음을 시사한다.
• 이 연구는 점근적 분석이 이론적으로는 낙관적이지 않지만, 노이즈가 있는 데이터셋에서의 실증적 행동과 잘 일치함을 확인하여, 이를 실용적 기준으로 활용할 수 있음을 확인한다.
• 메모리 증강 네트워크, 특히 신경 스택은 문맥 자유 및 문맥 의존 언어를 인식할 때 표준 RNN 및 Transformer보다 뚜렷이 뛰어난 성능을 보이며, 무한한 깊이의 메모리가 필요한 언어에 특히 유리하다.