[論文レビュー] A New Backpropagation Algorithm without Gradient Descent

Varun Ranganathan, Sayee Natarajan|arXiv (Cornell University)|Jan 25, 2018

Neural Networks and Applications参考文献 5被引用数 9

ひとこと要約

本論文は、勾配降下法の代わりにモーリー・ペンローズの疑似逆行列を用いて、人工ニューラルネットワークにおける重みとバイアスの更新を計算する、新しいバックプロパゲーションアルゴリズムを提案する。最小二乗法の観点から最適なパラメータを直接解くことで、勾配の反復的計算を回避し、微分不能またはReLUに類似した活性化関数に対しても効果的に機能する。勾配ベースの最適化に依存せず、ウィstanブル・ブレースト・キャンサー・データセットで最大90.4％の精度を達成した。

ABSTRACT

The backpropagation algorithm, which had been originally introduced in the 1970s, is the workhorse of learning in neural networks. This backpropagation algorithm makes use of the famous machine learning algorithm known as Gradient Descent, which is a first-order iterative optimization algorithm for finding the minimum of a function. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or of the approximate gradient) of the function at the current point. In this paper, we develop an alternative to the backpropagation without the use of the Gradient Descent Algorithm, but instead we are going to devise a new algorithm to find the error in the weights and biases of an artificial neuron using Moore-Penrose Pseudo Inverse. The numerical studies and the experiments performed on various datasets are used to verify the working of this alternative algorithm.

研究の動機と目的

• 勾配降下法に依存しない、ニューラルネットワークにおける重みとバイアスの更新のためのバックプロパゲーション手法の開発。
• 勾配計算を回避することで、微分不能または区分線形の活性化関数を有するニューラルネットワークの学習を可能にする。
• 勾配降下法の反復的計算を、疑似逆行列を用いた直接的な行列ベースの解法に置き換えることで、学習の効率を向上させる。
• ベンチマークおよび実世界のデータセット上で、提案手法の実現可能性と性能を検証する。
• ReLUに類似した活性化関数（例：ソフトプラスやLeakyReLU）との互換性を調査する。

提案手法

• 本手法は、入力データ行列のモーリー・ペンローズ疑似逆行列を用いて、最小二乗法の観点から誤差を最小化する最適なパラメータを直接計算することで、重みとバイアスの更新を実行する。
• 各ニューロンを、入力ごとに個別の重みとバイアスを持つように変更し、疑似逆行列計算に適した線形システムの定式化を可能にする。
• 活性化関数がその出力範囲で可逆であると仮定し、逆関数を目的出力に適用することで、疑似逆行列解法のためのターゲットベクトルを構築する。
• 疑似逆行列は特異値分解（SVD）を用いて計算され、ランク不足または過剰なシステムに対しても安定的かつ一意の解が保証される。
• 本手法は層ごとに適用され、各ニューロンの入力-出力関係を、疑似逆行列を用いて解くことのできる線形システムとみなす。
• 勾配のバックプロpagationを回避し、誤差を最小化するパrameter更新を直接解くことで、反復的最適化を回避する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法に依存しない、重みとバイアスの更新のためのバックプロパゲーションアルゴリズムを設計できるか？
• RQ2 モーリー・ペンローズ疑似逆行列は、人工ニューラルネットワークの学習に勾配降下法の代替として実用的か？
• RQ3 疑似逆行列に基づく手法は、微分不能またはReLUに類似した活性化関数に対してどれほど効果的か？
• RQ4 この手法は、勾配ベースの最適化に依存せずに、実世界のデータセットで競争力のある精度を達成できるか？
• RQ5 活性化関数の互換性と収束速度の観点から、この手法の限界は何か？

主な発見

• 提案された疑似逆行列ベースのバックプロパゲーションは、1000エポック経過後にウィスタンブル・ブレースト・キャンサー・データセットで90.4％の検証精度を達成し、実世界のデータに対して優れた性能を示した。
• 2つのスパイラル問題では、ソフトプラス活性化関数の使用を考慮すると、約63％の精度に達したが、これは妥当な結果である。
• 同心円型の問題では、ソフトプラス活性化関数が円形のデータパターンに不適切であるため、61％の精度に留まった。
• XOR問題では、81％の検証精度を達成し、非典型的な活性化関数を用いても非線形の決定境界を学習できることを示した。
• 数百年のエポックを経過すると、学習誤差と検証誤差は安定化し、収束していることが示されたが、初期の学習段階では誤差曲線が不安定であった。
• 本手法は、逆関数が全実数直線上で定義される活性化関数（例：ソフトプラス）に対して最も効果的であり、タンジェント関数のような関数は定義域の制限のため、効果が低い。