[論文レビュー] The Nonlinearity Coefficient - A Practical Guide to Neural Architecture Design

George Philipp|arXiv (Cornell University)|May 25, 2021

Adversarial Robustness in Machine Learning参考文献 217被引用数 4

ひとこと要約

本論文では、トレーニングを開始する前にもニューラルネットワークアーキテクチャ内の非線形性の度合いを定量化する新しいスカラーメトリックである非線形性係数（NLC）を導入する。著者らは、ランダムに初期化されたネットワークのNLCに基づいてテスト誤差を高い精度で予測することで、トレーニングなしにモデルの複雑さと性能を最適化できるゼロショットアーキテクチャ設計を可能にした。これは、平均場理論に裏付けられた理論的基盤と計算効率の高いメトリックに基づくものである。

ABSTRACT

In essence, a neural network is an arbitrary differentiable, parametrized function. Choosing a neural network architecture for any task is as complex as searching the space of those functions. For the last few years, 'neural architecture design' has been largely synonymous with 'neural architecture search' (NAS), i.e. brute-force, large-scale search. NAS has yielded significant gains on practical tasks. However, NAS methods end up searching for a local optimum in architecture space in a small neighborhood around architectures that often go back decades, based on CNN or LSTM. In this work, we present a different and complementary approach to architecture design, which we term 'zero-shot architecture design' (ZSAD). We develop methods that can predict, without any training, whether an architecture will achieve a relatively high test or training error on a task after training. We then go on to explain the error in terms of the architecture definition itself and develop tools for modifying the architecture based on this explanation. This confers an unprecedented level of control on the deep learning practitioner. They can make informed design decisions before the first line of code is written, even for tasks for which no prior art exists. Our first major contribution is to show that the 'degree of nonlinearity' of a neural architecture is a key causal driver behind its performance, and a primary aspect of the architecture's model complexity. We introduce the 'nonlinearity coefficient' (NLC), a scalar metric for measuring nonlinearity. Via extensive empirical study, we show that the value of the NLC in the architecture's randomly initialized state before training is a powerful predictor of test error after training and that attaining a right-sized NLC is essential for attaining an optimal test error. The NLC is also conceptually simple, well-defined for any feedforward network, easy and cheap to compute, has extensive theoretical, empirical and conceptual grounding, follows instructively from the architecture definition, and can be easily controlled via our 'nonlinearity normalization' algorithm. We argue that the NLC is the most powerful scalar statistic for architecture design specifically and neural network analysis in general. Our analysis is fueled by mean field theory, which we use to uncover the 'meta-distribution' of layers. Beyond the NLC, we uncover and flesh out a range of metrics and properties that have a significant explanatory influence on test and training error. We go on to explain the majority of the error variation across a wide range of randomly generated architectures with these metrics and properties. We compile our insights into a practical guide for architecture designers, which we argue can significantly shorten the trial-and-error phase of deep learning deployment. Our results are grounded in an experimental protocol that exceeds that of the vast majority of other deep learning studies in terms of carefulness and rigor. We study the impact of e.g. dataset, learning rate, floating-point precision, loss function, statistical estimation error and batch inter-dependency on performance and other key properties. We promote research practices that we believe can significantly accelerate progress in architecture design research.

研究の動機と目的

• トレーニングなしでニューラルネットワークの性能を予測する手法を開発し、コードを書く前から適切なアーキテクチャ意思決定を可能にすること。
• 非線形性がモデルの複雑さと一般化性能の主な要因であることを特定すること。
• 理論的根拠があり、計算効率の高いスカラーメトリック「非線形性係数（NLC）」を導入し、アーキテクチャの非線形性を定量化すること。
• 神経アーキテクチャ探索（NAS）に依存するのを減らす実用的で説明可能なニューラルアーキテクチャ設計のフレームワークを提供すること。
• 主なハイパーパrameterおよび統計的要因が性能に与える影響を分離・分析する、きめ細やかな実験プロトコルを確立すること。

提案手法

• 非線形性係数（NLC）は、平均場理論から導かれた式を用いて、アーキテクチャの重み行列と活性化関数を、ランダム初期化状態で計算する。
• NLCは、層全体にわたる非線形変換の期待値の大きさを測定し、アーキテクチャが非線形表現を担う内在的能力を捉える。
• 非線形性正規化アルゴリズムが導入され、NLCを目的値に調整することで、制御されたアーキテクチャ変更が可能になる。
• この手法は平均場理論を活用して、層の活性化の「メタ分布」を導出し、NLCの理論的根拠を提供する。
• 広範なランダムに生成されたアーキテクチャのスケールで実証的検証が実施され、複数のデータセットおよびハイパーパramータ設定で性能を測定した。
• 統計的分析により、データセット、学習率、精度、損失関数、バッチ間依存性が誤差とNLCに与える影響が分離された。

実験結果

リサーチクエスチョン

• RQ1 トレーニング前のニューラルネットワークアーキテクチャの非線形性は、最終的なテスト誤差を予測できるか？
• RQ2 非線形性係数（NLC）は、多様なアーキテクチャやタスクにおいて、信頼性があり安定したモデル性能の予測子として機能するか？
• RQ3 非線形性正規化手順により、NLCを調整することでアーキテクチャの性能をどの程度制御できるか？
• RQ4 学習率、バッチサイズ、浮動小数点精度といった要因が、NLCと一般化誤差の関係にどのように影響するか？
• RQ5 NLCおよび関連メトリクスは、ランダムに生成された広範なアーキテクチャ空間において、学習誤差とテスト誤差の大部分の分散を説明できるか？

主な発見

• ランダム初期化状態で計算された非線形性係数（NLC）は、最終的なテスト誤差を強く予測することができ、多様なアーキテクチャで高い相関が確認された。
• NLC値が「適正サイズ」の範囲にあるアーキテクチャは、顕著に低いテスト誤差を示し、最適な非線形性が性能に不可欠であることを示している。
• NLCは明確に定義されており、計算効率が高く、平均場理論に理論的根拠があるため、アーキテクチャ解析の原則的基盤を提供する。
• 非線形性正規化アルゴリズムにより、NLCを正確に制御でき、トレーニングなしにモデルの複雑さを調整できる。
• NLCおよび関連メトリクスは、広範なランダムに生成されたアーキテクチャにおいて、学習誤差とテスト誤差の変動の大部分を説明している。
• 本研究では、学習率、バッチ間依存性、浮動小数点精度といった要因が性能に顕著な影響を与えることが判明したが、それらの影響はNLCによって調整・緩和されることがわかった。