[論文レビュー] A Connectionist Network Approach to Find Numerical Solutions of Diophantine Equations

Siby Abraham, Sugata Sanyal+1 more|arXiv (Cornell University)|Jun 9, 2012

Neural Networks and Applications参考文献 35被引用数 3

ひとこと要約

本稿では、バックプロパゲーションとモーメンタム最適化を用いた3層のフィードフォワードニューラルネットワークを提案し、最適化された重みを解として扱うことにより、ディオファントス方程式を数値的に解く手法を提示する。多変数・高次多項式を含むさまざまな方程式に対して有効性を示し、従来では決定不能とされる問題クラスに対しても、制限付きで接続主義的ネットワークが近似解を求める可能性を示している。

ABSTRACT

The paper introduces a connectionist network approach to find numerical solutions of Diophantine equations as an attempt to address the famous Hilbert's tenth problem. The proposed methodology uses a three layer feed forward neural network with back propagation as sequential learning procedure to find numerical solutions of a class of Diophantine equations. It uses a dynamically constructed network architecture where number of nodes in the input layer is chosen based on the number of variables in the equation. The powers of the given Diophantine equation are taken as input to the input layer. The training of the network starts with initial random integral weights. The weights are updated based on the back propagation of the error values at the output layer. The optimization of weights is augmented by adding a momentum factor into the network. The optimized weights of the connection between the input layer and the hidden layer are taken as numerical solution of the given Diophantine equation. The procedure is validated using different Diophantine Equations of different number of variables and different powers.

研究の動機と目的

• ヒルベルトの10番目の問題に応答するため、接続主義的ネットワークを用いてディオファントス方程式の数値的解を求める。
• 方程式に含まれる変数の数に応じて入力層のサイズが変動する動的ニューラルネットワークアーキテクチャを構築する。
• バックプロパゲーションにモーメンタムを組み込み、重みを最適化し、最終的な重みを潜在的な解として解釈する。
• 変数数や次数が異なるさまざまなディオファントス方程式に対して、手法の妥当性を検証する。
• 数値的近似によって、NP困難および決定不能な数学的問題を解くニューラルネットワークの可能性を探る。

提案手法

• 入力層、隠れ層、出力層からなる3層のフィードフォワードニューラルネットワークを構築し、入力層のサイズをディオファントス方程式に含まれる変数の数に応じて動的に設定する。
• ディオファントス方程式に現れる変数のべき乗を、ネットワークへの入力値として用いる。
• 初期重みをランダムに割り当て、出力層の誤差を最小化するようにバックプロパゲーションを用いてネットワークを学習させる。
• 収束を加速し最適化の性能を向上させるために、重み更新ルールにモーメンタム要因を組み込む。
• 学習終了後、入力層と隠れ層を接続する最適化された重みを、ディオファントス方程式の数値的解として解釈する。
• 変数数やべき乗が異なる複数のテストケースにこの手法を適用し、耐久性と正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 接続主義的ニューラルネットワークは、ディオファントス方程式の数値的解を効果的に近似できるか？
• RQ2 モーメンタム要因の導入が、解の探索プロセスの収束性および正確性に与える影響は何か？
• RQ3 動的に構築されるニューラルネットワークは、変数数や次数が異なるディオファントス方程式をどの程度処理できるか？
• RQ4 一般には決定不能とされる方程式を解く際、ネットワークの性能はいかがなものか？
• RQ5 学習済みネットワークの最終的な最適化された重みは、一貫して方程式の有効な整数解として信頼できる解釈が可能か？

主な発見

• 提案されたニューラルネットワークは、変数数やべき乗が異なる複数のテストケースについて、数値的解を効果的に特定した。
• モーメンタム要因の導入により、重み最適化プロセスの収束速度と安定性が顕著に向上した。
• テスト事例に基づくところ、5変数までかつ4次までの多項式方程式に対しても、本手法は耐久性を示した。
• 入力層から隠れ層への最適化された重みは、元の式に戻した際に一貫して有効な整数解として解釈可能であった。
• ヒルベルトの10番目の問題の一般的決定不能性にもかかわらず、特定の事例に対しては計算的に実行可能な代替手法を提供した。
• 複数の方程式における検証結果から、本手法はテスト範囲内でスケーラブルであり、解の近似に向けたヒューリスティックな道筋を示している。