[論文レビュー] Gradient target propagation

Tiago de Souza Farias, Jonas Maziero|arXiv (Cornell University)|Oct 19, 2018

Random lasers and scattering media参考文献 19被引用数 5

ひとこと要約

この論文は、勾配ターゲット伝搬（GTP）を提案する。これは、バックプロパゲーションの代替手法であり、各ニューロンにターゲット値を割り当て、局所的な更新によって学習を誘導する。各ニューロンの損失最小化への寄与を推定することで、この手法はバックプロパゲーションとヘブ型学習を統合し、新しい重み初期化手法を用いて、MNIST、Fashion-MNIST、CIFAR-10で標準的なバックプロパゲーションと同等の性能を達成した。

ABSTRACT

We report a learning rule for neural networks that computes how much each neuron should contribute to minimize a giving cost function via the estimation of its target value. By theoretical analysis, we show that this learning rule contains backpropagation, Hebian learning, and additional terms. We also give a general technique for weights initialization. Our results are at least as good as those obtained with backpropagation. The neural networks are trained and tested in three problems: MNIST, MNIST-Fashion, and CIFAR-10 datasets. The associated code is available at https://github.com/tiago939/target.

研究の動機と目的

• バックプロパゲーションに完全に依存しないように、各ニューロンに意味のあるターゲット値を割り当てる学習ルールの開発。
• ヘブ型学習のような完全に局所的な学習ルールの限界、特に非局所的なネットワーク部品にわたりて責任の割り当てがうまくいかない問題の解決。
• 自己符号化器に基づく逆近似を必要としない、理論的に根拠があり数値的に安定したターゲット計算手法の提供。
• ニューロンの不確実性に基づく原理的な重み初期化手法の導入により、学習の収束性と性能の向上。
• MNIST、Fashion-MNIST、CIFAR-10を含む多様なデータセットにおいて、バックプロパゲーションと競合する性能を示すこと。

提案手法

• 各ニューロンの活性化に関する損失の勾配に基づいて、ターゲット活性化を計算する学習ルール「勾配ターゲット伝搬（GTP）」を提案。
• 非線形関数の直接逆行列を避けるために、逆問題を数値的に近似する手法を用いる。
• GTPとバックプロパゲーションの理論的関係を導出し、GTPがバックプロパゲーションおよびヘブ型学習を特別なケースとして包含することを示した。
• ニューロン活性化の期待される分散に基づく重み初期化手法を導入し、初期重みが活性化の不確実性を最大化しながらも安定性を保つように設定する。
• ターゲット伝搬に固定の学習率と時間ステップを採用し、ハイパーパrameterはデータセットおよびネットワークの深さごとに調整した。
• 標準的な訓練/テスト分割と評価指標を用いて、3つのベンチマークデータセットにおけるフィードフォワードネットワークにこの手法を適用した。

実験結果

リサーチクエスチョン

• RQ1 個々のニューロンにターゲットを割り当てる学習ルールが、バックプロパゲーションと同等の性能を達成できるか？
• RQ2 勾配ターゲット伝搬は、バックプロパゲーションやヘブ型学習といった既存の学習ルールとどのように関係しているか？
• RQ3 ニューロンの不確実性に基づく原理的な重み初期化手法が、学習の安定性と収束性を向上させられるか？
• RQ4 勾配ターゲット伝搬は、MNIST や CIFAR-10 といった高次元のデータセットや、さまざまなネットワークアーキテクチャにおいても有効に機能するか？
• RQ5 ターゲット伝搬のスケーラビリティと安定性を制限する計算的・数値的制約は何か？

主な発見

• 784-500-500-10のネットワークを用いて、MNISTで98.23%のテスト精度を達成し、標準的なバックプロパゲーションと同等の性能を示した。
• Fashion-MNISTでは、784-100-100-100-10のアーキテクチャで87.92%の精度に達し、より複雑な視覚データセットにおいても優れた一般化性能を示した。
• CIFAR-10では、3072-500-500-500-10のネットワークを用いて最高で47.11%の精度を達成し、フィードフォワードネットワークにおける標準的なバックプロパゲーションの性能と整合的であった。
• 理論的分析により、勾配ターゲット伝搬がバックプロパゲーションおよびヘブ型学習を一般化し、局所的および非局所的学習信号を統合していることが確認された。
• 提案された重み初期化手法は、学習の安定性を向上させ、特に深層ネットワークにおいて競争力のある性能に寄与した。
• この手法は数値的に安定かつスケーラブルであるが、深さが増すと学習率を各層ごとに慎重に調整しないと性能が低下する傾向がある。