[論文レビュー] Natural Neural Networks

Guillaume Desjardins, Karen Simonyan+2 more|arXiv (Cornell University)|Dec 7, 2015

Advanced Neural Network Applications参考文献 25被引用数 84

ひとこと要約

この論文では、活性化の段階的ホワイトニングを介してフィッシャー情報行列の条件数を段階的に改善することにより、学習を高速化するNatural Neural Networksと呼ばれるアルゴリズムのファミリーを紹介する。Projected Natural Gradient Descent (PRONG)アルゴリズムを用いることで、再パラメータライゼーションのコストを効率的に amortize し、教師ありおよび教師なし学習の両方で収束が速くなる。これは、大規模なImageNet学習を含む。

ABSTRACT

We introduce Natural Neural Networks, a novel family of algorithms that speed up convergence by adapting their internal representation during training to improve conditioning of the Fisher matrix. In particular, we show a specific example that employs a simple and efficient reparametrization of the neural network weights by implicitly whitening the representation obtained at each layer, while preserving the feed-forward computation of the network. Such networks can be trained efficiently via the proposed Projected Natural Gradient Descent algorithm (PRONG), which amortizes the cost of these reparametrizations over many parameter updates and is closely related to the Mirror Descent online learning algorithm. We highlight the benefits of our method on both unsupervised and supervised learning tasks, and showcase its scalability by training on the large-scale ImageNet Challenge dataset.

研究の動機と目的

• フィッシャー情報行列の条件数が悪いことが原因で生じるニューラルネットワーク学習の収束遅延を解消すること。
• 順伝播計算を損なわずに、学習中にニューラルネットワークの内部表現を動的に改善する手法を開発すること。
• 複数の更新ステップにわたって再パラメータライゼーションのコストを amortize する効率的な最適化アルゴリズムを設計すること。
• ImageNetを含む小規模および大規模な学習タスクにおいて、スケーラビリティと性能向上を実証すること。
• 標準的なバックプロパゲーションの計算効率を維持しつつ、最適化ダイナミクスを向上させること。

提案手法

• 各層における活性化の暗黙的ホワイトニングを介してネットワーク重みを再パラメータライズし、フィッシャー行列の条件数を改善する。
• 再パラメータライゼーション更新を標準的な最適化ステップに統合するため、Projected Natural Gradient Descent (PRONG)アルゴリズムを採用する。
• PRONGはミラー降下の変種として導出され、ネットワークの内部表現の効率的でオンラインな適応を可能にする。
• 再パラメータライゼーションは暗黙的に行われ、元の順伝播計算グラフを保持し、計算オーバーヘッドを回避する。
• アルゴリズムは複数のパラメータ更新にわたり再パラメータライゼーションのコストを amortize し、効率性を確保する。
• 標準的なバックプロパゲーションおよび確率的勾配降下法と完全に互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク重みの適応的再パラメータライゼーションが、フィッシャー行列の条件数を向上させることで最適化収束を改善できるか？
• RQ2 順伝播計算を損なわずに、学習中に再パラメータライゼーションを効率的に適用できるか？
• RQ3 Projected Natural Gradient Descent (PRONG)アルゴリズムは、再パラメータライゼーションコストを効果的に amortize しつつ、学習の安定性を維持できるか？
• RQ4 この手法はImageNetのような大規模データセットに対しても効果的にスケーリングできるか？
• RQ5 明示的再パラメータライゼーションと比較して、層の表現に対する暗黙的ホワイトニングは最適化速度と精度の面で優れているか？

主な発見

• 提案されたNatural Neural Networksは、フィッシャー情報行列の条件数を改善することで、教師ありおよび教師なし学習タスクの両方で収束が速くなる。
• PRONGアルゴリズムにより、複数の更新にわたり計算コストを amortize する効率的な再パラメータライゼーションが可能になり、高い学習効率を維持する。
• 標準的なニューラルネットワークの順伝播計算を保持しつつ、暗黙的ホワイトニングによって最適化ダイナミクスが向上する。
• このアプローチは大規模データセットに対しても効果的にスケーリングでき、ImageNetチャレンジデータセットでの成功した学習を示した。
• 暗黙的再パラメータライゼーションは、追加のハイパーパrameterや計算ボトル neck を導入せずに、最適化の安定性と収束速度を向上させる。
• 多様なアーキテクチャと学習タスクにおいて一貫した性能向上を示し、一般化可能性が顕著に高い。