[論文レビュー] Turing Computation with Recurrent Artificial Neural Networks

Giovanni Sirio Carmantini, Peter beim Graben+2 more|arXiv (Cornell University)|Nov 4, 2015

Computability, Logic, AI Algorithms参考文献 13被引用数 4

ひとこと要約

本稿では、非線形力学的オートマトン（NDA）を介して、チューリング機械から一次の再帰的人工ニューラルネットワーク（R-ANN）への新規で簡潔な写像を提示する。これにより、ネットワークの複雑さを著しく低減しつつ、任意のチューリング機械のリアルタイムシミュレーションが可能になる。本手法は、ミンスキーの7状態・4記号ユニバーサルチューリング機械を886ユニットの先行研究と比較して259ユニットにまで削減する3倍の効率を達成する一方で、区分的アフィン線形系に根ざした透明かつ構成的な動的特性を維持する。

ABSTRACT

We improve the results by Siegelmann & Sontag (1995) by providing a novel and parsimonious constructive mapping between Turing Machines and Recurrent Artificial Neural Networks, based on recent developments of Nonlinear Dynamical Automata. The architecture of the resulting R-ANNs is simple and elegant, stemming from its transparent relation with the underlying NDAs. These characteristics yield promise for developments in machine learning methods and symbolic computation with continuous time dynamical systems. A framework is provided to directly program the R-ANNs from Turing Machine descriptions, in absence of network training. At the same time, the network can potentially be trained to perform algorithmic tasks, with exciting possibilities in the integration of approaches akin to Google DeepMind's Neural Turing Machines.

研究の動機と目的

• 従来の手法よりも、チューリング機械と再帰的人工ニューラルネットワーク（R-ANN）の間のより簡潔で透明な写像を開発すること。
• 最近の非線形力学的オートマトン（NDA）の進展を活用し、任意のチューリング機械のリアルタイムで一次のR-ANNシミュレータを構築すること。
• バックプロパゲーションやトレーニングを経ずに、チューリング機械の記述からR-ANNを直接プログラミング可能にすること。
• 学習済みアルゴリズムの記号的読み出しと、ニューラルチューリングマシンのような微分可能学習フレームワークとの統合を可能にする基盤を築くこと。
• 連続時間力学的系の計算能力を検討し、記号的計算への可能性を明らかにすること。

提案手法

• チューリング機械を、機械の状態のバイインフィニットドット列表現を通じて一般化シフトに写像する。
• 一般化シフトを単位正方形上での2次元区分的アフィン線形系として符号化し、非線形力学的オートマトン（NDA）を構築する。
• NDAを、3種類のニューラルユニット型（MCL：メモリ制御、BSL：状態遷移、LTL：遷移論理）を用いて一次のR-ANNに写像する。シナプス重みは{0, 1, h/2, -h/2}から選び、バイアス項を含む。
• R-ANNはラムプ活性化関数を用い、しきい値の超過をトリガーとし、アフィン変換を適用することで、NDAダイナミクスのリアルタイムシミュレーションを実現する。
• ネットワークアーキテクチャは、チューリング機械の状態集合と記号集合によって完全に決定され、全ユニット数は n_units = 2 + n_s + n_s*n_q + 2*n_s²*n_q + 1 で与えられる。
• 固定点停止条件を実装し、ネットワーク状態が ζ₁(x′, y′) = (x′, y′) を満たすと、計算が停止する。これは停止状態に対応する。

実験結果

リサーチクエスチョン

• RQ1 一次のR-ANNを用いて、構成的で透明かつ最小限のアーキテクチャで、チューリング機械をリアルタイムにシミュレートできるか？
• RQ2 NDA理論を活用することで、チューリング機械からR-ANNへの写像をより簡潔で体系的に行えるか？
• RQ3 トレーニングを経ずに、チューリング機械の記述からR-ANNを直接プログラミング可能であり、エンドツーエンドの記号的計算が可能か？
• RQ4 得られたR-ANNは、学習済みアルゴリズムの記号的読み出しをサポートできるか。特に、微分可能学習フレームワークと組み合わせた場合に有効か？
• RQ5 連続時間力学的系をNDAシミュレートR-ANNとしてモデル化した場合、その計算能力はいかほどか？

主な発見

• 提案手法は、ミンスキーの7状態・4記号ユニバーサルチューリング機械を259ニューロンユニットでシミュレートでき、シエルマンとソンタグの先行研究の886ユニットと比較して3倍の削減を達成した。
• 得られたR-ANNアーキテクチャは、下位の区分的アフィン線形NDAダイナミクスからの直接的で構成的な写像のおかげで、著しく単純かつ透明である。
• 固定点停止条件を用いることで、ネットワーク状態が ζ₁(x′, y′) = (x′, y′) を満たすと終了を示すことで、チューリング機械の計算をリアルタイムでシミュレートしている。
• R-ANNが正しくNDAをシミュレートし、したがって元のチューリング機械を正しく模倣していることを確認するための可換性性質 ζ∘ρ = ρ∘Φ を満たしている。
• このフレームワークにより、トレーニングやバックプロパゲーションを経ずに、チューリング機械の記述からR-ANNを直接プログラミング可能である。
• このアプローチは、記号的計算と微分可能学習の統合への道筋を拓くものであり、特にグーグル・ディープマインドのニューラルチューリングマシンに類似したモデルにおいて顕著である。