[논문 리뷰] Turing Computation with Recurrent Artificial Neural Networks

Giovanni Sirio Carmantini, Peter beim Graben외 2명|arXiv (Cornell University)|2015. 11. 04.

Computability, Logic, AI Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 비선형 동적 오토마타(NDA)를 통해 튜링 기계를 일阶 선형 재귀 인공 신경망(R-ANN)으로 매핑하는 새로운, 간결한 방법을 제안한다. 이 방법은 네트워크 복잡도를 크게 줄이며, 임의의 튜링 기계를 실시간으로 시뮬레이션할 수 있다. 기존 연구 대비 단위 수를 3배 감소시켜, 민스키의 7상태, 4기호 유니버설 튜링 기계를 886개 단위에서 259개 단위로 구현했으며, 조각별 애프린-선형 시스템에 기반한 투명하고 구조적인 동역학을 유지한다.

ABSTRACT

We improve the results by Siegelmann & Sontag (1995) by providing a novel and parsimonious constructive mapping between Turing Machines and Recurrent Artificial Neural Networks, based on recent developments of Nonlinear Dynamical Automata. The architecture of the resulting R-ANNs is simple and elegant, stemming from its transparent relation with the underlying NDAs. These characteristics yield promise for developments in machine learning methods and symbolic computation with continuous time dynamical systems. A framework is provided to directly program the R-ANNs from Turing Machine descriptions, in absence of network training. At the same time, the network can potentially be trained to perform algorithmic tasks, with exciting possibilities in the integration of approaches akin to Google DeepMind's Neural Turing Machines.

연구 동기 및 목표

• 이전 방법들보다 더 간결하고 투명한 튜링 기계와 재귀 인공 신경망(R-ANN) 간의 매핑을 개발하는 것.
• 최근의 비선형 동적 오토마타(NDA) 이론을 활용하여, 임의의 튜링 기계를 실시간으로 시뮬레이션할 수 있는 일阶 선형 R-ANN 시뮬레이터를 구축하는 것.
• 백프로파게이션 또는 학습 없이 튜링 기계 기술서로부터 R-ANN를 직접 프로그래밍할 수 있도록 하는 것.
• 학습된 알고리즘의 기호적 읽기 기능을 가능하게 하고, 신경 튜링 기계와 같은 미분 가능한 학습 프레임워크와의 통합을 위한 기반을 마련하는 것.
• 연속 시간 동적 시스템의 계산 능력과 기호 계산 잠재력에 대해 탐구하는 것.

제안 방법

• 튜링 기계를 기계 구성의 이중 무한 점선 수열 표현을 통해 일반화된 이동으로 매핑한다.
• 일반화된 이동은 단위 정사각형 위의 2차원 조각별 애프린-선형 시스템으로 표현되며, 이는 비선형 동적 오토마타(NDA)를 형성한다.
• NDA는 세 가지 신경 단위 유형(MCL, BSL, LTL)을 사용하여 일阶 선형 R-ANN으로 매핑되며, 시냅스 가중치는 {0, 1, h/2, -h/2}에서 선택되고, 편향 항이 포함된다.
• R-ANN는 램프 활성화 함수를 사용하여 임계값을 초과할 때를 감지하고 애프린-선형 변환을 적용하여 NDA 동역학을 실시간으로 시뮬레이션한다.
• 네트워크 아키텍처는 튜링 기계의 상태 집합과 기호 집합에 의해 완전히 결정되며, 총 단위 수는 n_units = 2 + n_s + n_s*n_q + 2*n_s²*n_q + 1로 주어진다.
• 고정점 정지 조건이 구현되어 있으며, 네트워크 상태가 ζ₁(x′, y′) = (x′, y′)를 만족할 경우 계산이 정지된다.

실험 결과

연구 질문

• RQ1 일阶 선형 R-ANN를 사용하여, 구조적이고 투명하며 최소한의 아키텍처로 튜링 기계를 실시간으로 시뮬레이션할 수 있는가?
• RQ2 NDA 이론을 활용하여 튜링 기계에서 R-ANN로의 매핑을 더 간결하고 체계적으로 만들 수 있는가?
• RQ3 학습 없이 튜링 기계 기술서로부터 R-ANN를 직접 프로그래밍할 수 있는가? 이는 종단 간 기호 계산을 가능하게 하는가?
• RQ4 결과로 도출된 R-ANN가 학습된 알고리즘의 기호적 읽기 기능을 지원할 수 있는가? 특히, 미분 가능한 학습 프레임워크와의 통합 시에는 어떻게 되는가?
• RQ5 NDA 시뮬레이션 R-ANN로 모델링된 연속 시간 동적 시스템의 계산 능력은 어떠한가?

주요 결과

• 제안된 방법은 민스키의 7상태, 4기호 유니버설 튜링 기계를 단 259개의 신경 단위로 시뮬레이션하며, 시겔만과 손타의 이전 방법에서 요구한 886개 단위 대비 3배 감소시켰다.
• 결과로 도출된 R-ANN 아키텍처는 기반의 조각별 애프린-선형 NDA 동역학으로부터 직접적인 구조적 매핑 덕분에 훨씬 단순하고 투명하다.
• 네트워크는 고정점 정지 조건을 통해 튜링 기계 계산을 실시간으로 시뮬레이션하며, ζ₁(x′, y′) = (x′, y′)가 정지 구성 상태를 나타내어 종료를 알린다.
• R-ANN가 NDA를 정확히 시뮬레이션함을 확인하는 공통성 성질 ζ∘ρ = ρ∘Φ를 만족한다.
• 이 프레임워크는 백프로파게이션 또는 학습 없이 튜링 기계 기술서로부터 R-ANN를 직접 프로그래밍할 수 있도록 한다.
• 이 접근법은 기호 계산과 미분 가능한 학습의 통합 가능성을 열어주며, 구글 딥마인드의 신경 튜링 기계 유사 모델에서 특히 유용할 수 있다.