[論文レビュー] Gradient-Free Learning Based on the Kernel and the Range Space

Kar-Ann Toh, Zhiping Lin+3 more|arXiv (Cornell University)|Oct 27, 2018

Neural Networks and Applications参考文献 35被引用数 8

ひとこと要約

本稿では、線形行列方程式の核空間および値域空間の操作を活用することで、勾配フリーな学習フレームワークを完全結合型フィードフォワードニューラルネットワークに提案する。これにより、反復的でない解析的重み推定が可能となる。この手法は勾配ベースの学習と同等の予測精度を達成するが、200倍以上の高速な学習速度を実現し、明示的な正則化や誤差逆伝播なしに実現可能であり、一般化性能を示す。

ABSTRACT

In this article, we show that solving the system of linear equations by manipulating the kernel and the range space is equivalent to solving the problem of least squares error approximation. This establishes the ground for a gradient-free learning search when the system can be expressed in the form of a linear matrix equation. When the nonlinear activation function is invertible, the learning problem of a fully-connected multilayer feedforward neural network can be easily adapted for this novel learning framework. By a series of kernel and range space manipulations, it turns out that such a network learning boils down to solving a set of cross-coupling equations. By having the weights randomly initialized, the equations can be decoupled and the network solution shows relatively good learning capability for real world data sets of small to moderate dimensions. Based on the structural information of the matrix equation, the network representation is found to be dependent on the number of data samples and the output dimension.

研究の動機と目的

• 線形系における核空間および値域空間推定と最小二乗誤差最小化の理論的同等性を確立すること。
• 訓練問題を相互結合方程式系に再定式化することで、多層フィードフォワードネットワークの勾配フリー学習フレームワークを構築すること。
• 誤差逆伝播や反復的最適化を用いずに、解析的かつ一回のパスで重み推定を可能にすること。
• 勾配降下法を用いない状況下で、ネットワークの深さと初期化が学習性能に与える影響を調査すること。
• 実世界のベンチマークデータセット上で、明示的な正則化なしに本手法の実現可能性と一般化能力を検証すること。

提案手法

• 完全結合型フィードフォワードネットワークを線形行列方程式として定式化し、線形代数的手法の適用を可能にする。
• 核空間および値域空間の操作を用いて、最小二乗誤差最小化問題の同等な定式化を導出する。
• ネットワークの訓練問題を層間の相互結合方程式系に変換する。
• 隠れ層の重みをランダムに初期化することで、方程式系を分解し、重み行列の解析的解を得る。
• 補題1および補題2における最小ノルム性質を活用し、明示的な正則化なしに一般化を保証する。
• 解の適切な定式化を確保するため、可逆性と好ましい歪みを実現するため、ロジット活性化関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 核空間および値域空間解析は、線形系における最小二乗誤差最小化の同等な代替手段を提供できるか？
• RQ2 勾配降下法に依存せずに、多層フィードフォワードネットワークの訓練を相互結合方程式系に再定式化できるか？
• RQ3 隠れ層の重みのランダム初期化は、ネットワーク重みの分解および解析的解法を可能にするか？
• RQ4 提案された勾配フリー枠組みにおいて、ネットワークの深さが予測精度に与える影響は何か？
• RQ5 最小ノルム解に依存する本手法は、明示的な正則化なしに良好な一般化性能を示せるか？

主な発見

• 核空間および値域空間の操作から導かれた解は、数学的に最小二乗誤差解と同等であることが確認され、理論的基盤が裏付けられた。
• 提案手法は、同じ数の隠れノードを有する勾配ベース学習と比較して、200倍以上の高速な学習速度を達成した。
• 2層、3層、4層のネットワークにおいて、予測精度がネットワークの深さにかかわらず比較的安定しており、多数のベンチマークデータセットで差異は顕著ではなかった。
• 解の最小ノルム性質のおかげで、明示的な正則化なしに良好な一般化性能を示した。
• ネットワーク表現能力は、データサンプル数と出力次元に依存し、非線形活性化関数が問題の適切な定式化に寄与している。
• 閉形式かつ反復なしの性質のおかげで、勾配計算や誤差逆伝播なしに直接的な重み推定が可能となった。