[論文レビュー] Building a Chaotic Proved Neural Network

Jacques M. Bahi, Christophe Guyeux+1 more|arXiv (Cornell University)|Jan 23, 2011

Neural Networks and Applications参考文献 15被引用数 4

ひとこと要約

本稿は、Devaneyのカオス基準に基づくカオス的反復と、グローバル再帰的多層パーセプトロン（MLP）との間で形式的な対応関係を確立し、特定のニューラルネットワークが数学的にカオス的であることを証明している。反復関数のグラフが強く連結であることを保証することで、著者たちはカオス的反復を示すように設計・学習されたMLPを構築し、厳密な数学的裏付けのもとで、初めての証明済みのカオス的人工ニューラルネットワークを実現した。

ABSTRACT

Chaotic neural networks have received a great deal of attention these last years. In this paper we establish a precise correspondence between the so-called chaotic iterations and a particular class of artificial neural networks: global recurrent multi-layer perceptrons. We show formally that it is possible to make these iterations behave chaotically, as defined by Devaney, and thus we obtain the first neural networks proven chaotic. Several neural networks with different architectures are trained to exhibit a chaotical behavior.

研究の動機と目的

• セキュリティ用途に用いられるニューラルネットワークにおけるカオス性に関する主張に、数学的証明が欠けているという問題に対処すること。
• Devaneyの位相的カオスフレームワークを用いて、人工ニューラルネットワークにおけるカオスを形式的に定義・検証すること。
• カオス的反復とグローバル再帰的多層パーセプトロン（MLP）との間の明確な数学的対応関係を確立すること。
• 特定の反復関数を用いることで、MLPを学習させ、証明可能なカオス的挙動を示す方法を開発すること。
• さまざまなネットワークアーキテクチャと関数を用いた実験的検証を通じて、アプローチを検証すること。

提案手法

• 本稿では、反復ごとに1つのセルのみが更新される反復としてカオス的反復を定義し、状態遷移は関数fに従う。戦略シーケンスに従って更新が行われる。
• 反復関数fにDevaneyのカオス基準（位相的混合性、正則性（周期的点が稠密であること）、感度依存性）を適用する。
• カオス性の鍵となる条件は、fのグラフが強く連結であることであり、この条件は、この文脈においてカオス性を保証するのに必要かつ十分である。
• 著者たちは、反復関数fを学習するようにMLPを訓練することで、カオス的反復をグローバル再帰的MLPにマッピングする。バックプロパゲーションを用い、L-BFGS最適化法を適用し、平均二乗誤差（MSE）のしきい値を10^-2とする。
• 強連結性とカオス性を保証するために、特定の構造を持つブール関数f（例：f1(x) = (¬x1, x1, x2, ..., xN-1)）を用いる。
• 実験的検証では、1層または2層の隠れ層を持つMLPを用い、ニューロン数を変化させ、25回のランダム初期化における学習エポック数と成功確率を測定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークがDevaneyの定義に従って数学的にカオス的であることが証明可能か？
• RQ2 反復関数fにどのような条件が課されると、カオス的反復が位相的混合性と正則性を満たすか？
• RQ3 カオス的反復を、グローバル再帰的多層パーセプトロンアーキテクチャに正式にマッピングする方法は何か？
• RQ4 カオス的反復関数を学習するようにMLPを訓練した場合、そのネットワークは実際にカオス的に振る舞うか？
• RQ5 MLPアーキテクチャの複雑さと、カオス的ネットワークを学習する難易度との関係は何か？

主な発見

• f0,2(x1,x2,x3) = (¬x1,¬x2,¬x3) を学習したMLPは、1層構造で隠れ層に10ニューロンを用い、100%の成功率を達成し、平均73.44エポックを要した。
• f1,1(x1,x2,x3) = (¬x1,x1,x2) を学習したMLPは、1層構造で隠れ層に10ニューロンを用い、100%の成功率を達成し、平均59.84エポックを要した。
• 2層隠れ層（8および4ニューロン）構造では、平均してより多くのエポックを要した—f0,2では203.68、f1,1では135.54—しかし、成功確率はそれぞれ76%および96%にとどまった。
• g1(x1,x2,x3) = (¬x1,x2,x3) を用いたネットワークは、非強く連結なグラフであるためカオス的挙動を示さず、理論的条件が正当化されたことを裏付けた。
• カオス的ネットワークの学習プロセスは、一般的に非カオス的ネットワークよりも困難であり、平均してより多くのエポックを要した。これは、カオスの複雑さと学習難易度の間に関係があることを示唆している。
• 本研究は、反復関数のグラフの強連結性が、Devaneyカオスにおいて必要かつ十分であることを確認した。これにより、証明可能なカオス的ニューラルネットワークを構築するための検証可能な基準が得られた。