[論文レビュー] Random orthogonal additive filters: a solution to the vanishing/exploding gradient of deep neural networks

Andrea Ceni|arXiv (Cornell University)|Oct 3, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、直交フィルタリングと活性化関数の残差的加算により、数学的に消失・爆発勾配を防ぐ新しい深層ニューラルネットワークアーキテクチャ、Random Orthogonal Additive Filters (roaFNN および roaRNN) を提案する。この手法は、入出力ヤコビアンに対する解析的バインドを用いて安定した勾配伝搬を保証し、50,000層の順方向ネットワークおよび10,000ステップの再帰的シーケンスの訓練を可能にし、超高速収束と最先端の性能を達成する。

ABSTRACT

Since the recognition in the early nineties of the vanishing/exploding (V/E) gradient issue plaguing the training of neural networks (NNs), significant efforts have been exerted to overcome this obstacle. However, a clear solution to the V/E issue remained elusive so far. In this manuscript a new architecture of NN is proposed, designed to mathematically prevent the V/E issue to occur. The pursuit of approximate dynamical isometry, i.e. parameter configurations where the singular values of the input-output Jacobian are tightly distributed around 1, leads to the derivation of a NN's architecture that shares common traits with the popular Residual Network model. Instead of skipping connections between layers, the idea is to filter the previous activations orthogonally and add them to the nonlinear activations of the next layer, realising a convex combination between them. Remarkably, the impossibility for the gradient updates to either vanish or explode is demonstrated with analytical bounds that hold even in the infinite depth case. The effectiveness of this method is empirically proved by means of training via backpropagation an extremely deep multilayer perceptron of 50k layers, and an Elman NN to learn long-term dependencies in the input of 10k time steps in the past. Compared with other architectures specifically devised to deal with the V/E problem, e.g. LSTMs for recurrent NNs, the proposed model is way simpler yet more effective. Surprisingly, a single layer vanilla RNN can be enhanced to reach state of the art performance, while converging super fast; for instance on the psMNIST task, it is possible to get test accuracy of over 94% in the first epoch, and over 98% after just 10 epochs.

研究の動機と目的

• 1990年代以降、訓練に常に問題を引き起こし続けてきた深層ニューラルネットワークにおける長年の消失／爆発勾配問題を解決すること。
• 無限の深さですら安定した勾配ダイナミクスを解析的に保証する深層ネットワークアーキテクチャを設計すること。
• バッチ正規化や勾配クリッピングなどのヒューリスティックに依存せずに、この安定性を達成すること。
• 極めて深い順方向および再帰的ネットワークにおけるこのアーキテクチャの有効性を実証すること。
• 複雑なアーキテクチャ（例：ResNet や LSTM）の代わりに、理論的根拠に基づいた単純な代替手段を提供すること。

提案手法

• 各層が非線形活性化関数と直交的にフィルタされた以前の活性化関数の凸結合を計算する新しい順方向ネットワーク（roaFNN）を提案する。
• ランダムな半直交行列 $O_l$ を用いて以前の層出力をフィルタおよび加算し、入出力ヤコビアンにおける等長性を保証する。
• 非線形成分とフィルタリング成分のバランスを制御する学習可能なスカラーハイパーパrameter $\rho$ を導入する。
• 入出力ヤコビアンの最大特異値に対する解析的バインドを導出し、緩い条件下でも勾配安定性を証明する。
• 同じ原則を再帰的ネットワーク（roaRNN）に適用し、長期依存性タスクのための時間方向の訓練を可能にする。
• 行列ノルムの不等式と半直交行列の等長性を用いて、ヤコビアンのノルムが有界のまま保たれることを証明する。

実験結果

リサーチクエスチョン

• RQ1 無限の深さですら消失・爆発勾配が数学的に不可能となるような深層ニューラルネットワークアーキテクチャを設計できるか？
• RQ2 以前の活性化関数の直交フィルタリングが、深層ネットワークにおける勾配ダイナミクスをどのように安定化させるか？
• RQ3 ゲートのない単純なアーキテクチャが、LSTM や ResNet よりも長期シーケンス学習で優れた性能を発揮できるか？
• RQ4 構造的でない（例：恒等行列）ものと比較して、ランダム直交行列が訓練の安定性および性能に与える影響は何か？
• RQ5 直交加法フィルタの使用が、損失関数の地形を暗黙的に正則化し、一般化性能を向上させるか？

主な発見

• 提案された roaFNN アーキテクチャは、無限の深さの極限でも入出力ヤコビアンに対する解析的バインドにより、消失・爆発勾配を防止する。
• 50,000層の順方向ネットワークがバックプロパゲーションにより正常に訓練された。これは本手法のスケーラビリティを示している。
• roaRNN モデルは、psMNIST で1エポックで94％以上のテスト精度を達成し、10エポック後には98％以上に達した。これは標準的なRNNやLSTMを上回る。
• roaRNN メカニズムを統合した単層のヴァナラRNNが、長期依存性タスクで最先端の性能を達成した。
• 本手法の単純さと効果性は、学習可能なゲートやスキップ接続に依存するLSTM やResNet よりも優れている。
• 実験的結果から、ランダム直交フィルタが損失関数の地形を暗黙的に正則化し、訓練ダイナミクスを改善している可能性がある。