[論文レビュー] The Nonlinearity Coefficient - Predicting Generalization in Deep Neural Networks

George Philipp, Jaime Carbonell|arXiv (Cornell University)|Jun 1, 2018

Neural Networks and Applications参考文献 35被引用数 7

ひとこと要約

この論文では、完全結合フィードフォワードネットワークにおける汎化性能を予測する、ランダムに初期化された重みから計算される勾配に基づく指標である非線形性係数（NLC）を導入する。NLCは、入力と出力の共分散行列と入力-出力ヤコビアンを組み合わせることで非線形性の度合いを定量化し、実験的に「適切なサイズのNLC」を達成することが低いテスト誤差と強く相関していることを示しており、学習を開始する前に対象となるアーキテクチャの品質を早期に除外することが可能になる。

ABSTRACT

For a long time, designing neural architectures that exhibit high performance was considered a dark art that required expert hand-tuning. One of the few well-known guidelines for architecture design is the avoidance of exploding gradients, though even this guideline has remained relatively vague and circumstantial. We introduce the nonlinearity coefficient (NLC), a measurement of the complexity of the function computed by a neural network that is based on the magnitude of the gradient. Via an extensive empirical study, we show that the NLC is a powerful predictor of test error and that attaining a right-sized NLC is essential for optimal performance. The NLC exhibits a range of intriguing and important properties. It is closely tied to the amount of information gained from computing a single network gradient. It is tied to the error incurred when replacing the nonlinearity operations in the network with linear operations. It is not susceptible to the confounders of multiplicative scaling, additive bias and layer width. It is stable from layer to layer. Hence, we argue that the NLC is the first robust predictor of overfitting in deep networks.

研究の動機と目的

• 深層ニューラルネットワークにおける汎化性能を事前に予測できる信頼性のあるメトリクスの欠如に対処すること。
• 入力スケール、バイアス、次元数といった一般的なアーキテクチャ的混同要因に対して不変である勾配に基づくメトリクスを開発すること。
• 完全結合ネットワークにおけるテスト誤差と強く相関する非線形性の度合いを捉える単一のスカラー指標を特定すること。
• 学習を一切行わずに予測可能な性能不良を早期に検出できることで、アーキテクチャの品質を事前に除外できるようにすること。

提案手法

• 非線形性係数（NLC）は、出力共分散行列と入力-出力ヤコビアンの共分散の積のトレースを、入力共分散のトレースで正規化した値として定義される。
• NLCは二段階の確率的推定器を用いて計算される：まずミニバッチ上で出力の平均と出力共分散を計算し、次にバックプロパゲーションを用いてランダムなガウスベクトルのヤコビアンのトレースを推定する。
• 出力バイアスの安定化と数値的安定性の確保のため、バッチ正則化を用いる。特に低精度演算環境下でも有効である。
• NLCは、線形関数によって近似可能な入力領域の相対的直径に由来し、ネットワークの内在的非線形性と関連づけられる。
• NLCはランダムに初期化された状態で計算されるため、学習やハイパーパramータチューニングの前でも適用可能である。
• 多くの既存の勾配ベースメトリクスとは異なり、入力スケール、入力バイアス、入力次元数の変更に対してロバストである。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク初期化段階で計算される勾配ベースメトリクスは、深層ニューラルネットワークにおける汎化性能を予測できるか？
• RQ2 非線形性の度合いを捉え、テスト誤差と強く相関する単一のスカラー指標が存在するか？
• RQ3 入力スケール、入力バイアス、入力次元数といった混同要因に対して、提案されたメトリクスはどれほどロバストか？
• RQ4 完全結合フィードフォワードネットワークにおいて「適切なサイズのNLC」を達成することは、最適なテスト誤差をもたらすか？

主な発見

• 完全結合フィードフォワードネットワークの広い範囲において、ランダム初期化段階でのNLCは、最終的なテスト誤差を強く予測する。
• 最適でないNLC値を示すネットワークは一貫して高いテスト誤差を示し、NLCが一般化性能の劣化を信頼性高く示す指標であることが示された。
• 入力スケール、入力バイアス、入力次元数の変更に対してNLCはロバストであり、多くの既存の勾配ベースメトリクスよりも信頼性が高い。
• NLCは概念的に単純で計算コストが低く、学習を開始する前に対象となるアーキテクチャを除外できるため、計算リソースを大幅に節約できる。
• NLCは、線形関数によってよく近似可能な入力領域の相対的直径と相関しており、ネットワークの内在的非線形性と関連づけられる。
• 適切なバッチ正則化と二段階推定を用いることで、NLCは低精度浮動小数点演算でも安定的かつ正確に計算可能である。