[論文レビュー] A Global Algorithm for Training Multilayer Neural Networks

Hong Zhao, Tao Jin|ArXiv.org|Jul 6, 2006

Neural Networks and Applications参考文献 1被引用数 4

ひとこと要約

本稿では、合成シナプス重みの種類（離散的または連続的）や伝達関数の微分可能性に制限のない、マルチレイヤーニューラルネットワークを学習するためのモンテカルロ適応（MCA）に基づくグローバル学習アルゴリズムを提案する。入力サンプルによって誘発される局所フィールドの分布を制御することで、バックプロパゲーションに比べて優れた汎化能力を達成し、線形分離不能な分類タスクをより効率的かつロバストに解ける2層ネットワークの実現が示された。

ABSTRACT

We present a global algorithm for training multilayer neural networks in this Letter. The algorithm is focused on controlling the local fields of neurons induced by the input of samples by random adaptations of the synaptic weights. Unlike the backpropagation algorithm, the networks may have discrete-state weights, and may apply either differentiable or nondifferentiable neural transfer functions. A two-layer network is trained as an example to separate a linearly inseparable set of samples into two categories, and its powerful generalization capacity is emphasized. The extension to more general cases is straightforward.

研究の動機と目的

• バックプロパゲーションの制限、特に微分可能な伝達関数や連続的シナプス重みに依存する点を克服すること。
• 入力サンプルによって誘発される局所フィールドの統計的分布（LFNIIS）を制御することで、ネットワーク性能を最適化するグローバルな学習アルゴリズムを開発すること。
• 生物学的妥当性とデジタルハードウェア実装可能性を反映する、離散的シナプス状態を用いたマルチレイヤーネットワークの学習を可能にすること。
• 標準的なバックプロパゲーションネットワークに比べ、線形分離不能な分類タスクにおける優れた汎化能力を示すこと。
• 単層、マルチレイヤー、多クラス分類問題に適用可能な柔軟なフレームワークを提供すること。

提案手法

• アルゴリズムは、すべてのレイヤーにおいて入力サンプルによって誘発される局所フィールドのターゲット分布（LFNIIS）を制御することに焦点を当てる。
• ランダムなシナプス重みの適応を実行し、変更がターゲットLFNIIS分布からの統計的乖離を低減する場合にのみ受け入れる。
• 1方向の収束を保証する意思決定基準により、ネットワーク動作の安定的進化を実現する。
• グローバルな性能向上を全サンプルに対して評価する基準に基づき、シナプス重み状態のモンテカルロ的探索を実施する。
• 伝達関数と重み状態が各レイヤーごとに独立に定義される2層ネットワークにアルゴリズムを適用する。
• 訓練は反復的に進行し、ランダムに選択された重みを確率的に適応させ、LFNIIS分布基準によるグローバルな改善を評価する。

実験結果

リサーチクエスチョン

• RQ1 局所的最小値や微分可能性の制約を避けるグローバルな学習ルールを設計できるか？
• RQ2 離散的シナプス重みは、マルチレイヤーネットワークにおける汎化性能と学習効率をどの程度向上できるか？
• RQ3 隠れ層と出力層における局所フィールドの分布を制御することで、分類性能にどのような影響を与えるか？
• RQ4 非微分可能な伝達関数を用いたネットワークに対しても、このアルゴリズムは効果的に学習を可能にするか？
• RQ5 訓練時間と収束性は、受容基準の選択やパrameterチューニングに著しく依存するか？

主な発見

• MCAベースのネットワークは、標準的なバックプロパゲーションネットワークに比べ、線形分離不能なサンプルの正しく分類する能力が著しく優れており、顕著な汎化能力を示した。
• 離散的重み（例：±1、±3）を用いた訓練では、連続的またはバイナリ重みに比べ、線形分離可能な最大サンプル数が増加した（図3参照）。
• 分類閾値 $ t_{ u}h_{ u}^{(2)} \geq 30 $ を達成するための計算時間は、MCA法で約1時間で達成されたが、最適学習率を用いたバックプロパゲーションでは6時間かかった。
• 出力層重みを固定して隠れ層のみを学習させた場合、訓練時間が著しく短縮された。これは、出力層が主に意思決定空間をカバーする役割を果たしていることを示唆している。
• 訓練プロセスは技術的細部に敏感である：$ n \geq 0 $ を $ n > 0 $ に置き換えると訓練時間が2倍に増加した。また、定数 $ c $ を段階的に調整することで、訓練時間を顕著に短縮できた。
• 受容基準に温度パラメータを導入した場合、訓練効率は複雑で非単調な方法で変化し、さらなる最適化の余地があることを示唆している。