[論文レビュー] Heavy-Tailed Universality Predicts Trends in Test Accuracies for Very Large Pre-Trained Deep Neural Networks

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|Jan 24, 2019

Machine Learning in Materials Science被引用数 9

ひとこと要約

本稿は、事前学習された深層ニューラルネットワークにおけるHeavy-Tailed Mechanistic Universality (HT-MU) を根拠に、テストデータにアクセスせずにテスト精度の傾向を予測できる普遍的な容量制御指標を導入する。この指標は、重み行列の相関のべき乗則指数に基づくもので、Heavy-Tailed Random Matrix Theory から導出され、26種類の多様なアーキテクチャにおいて報告された ImageNet top-1 精度と強く相関する。従来のノルムベースの測定値よりも高い予測能を示す。

ABSTRACT

Given two or more Deep Neural Networks (DNNs) with the same or similar architectures, and trained on the same dataset, but trained with different solvers, parameters, hyper-parameters, regularization, etc., can we predict which DNN will have the best test accuracy, and can we do so without peeking at the test data? In this paper, we show how to use a new Theory of Heavy-Tailed Self-Regularization (HT-SR) to answer this. HT-SR suggests, among other things, that modern DNNs exhibit what we call Heavy-Tailed Mechanistic Universality (HT-MU), meaning that the correlations in the layer weight matrices can be fit to a power law (PL) with exponents that lie in common Universality classes from Heavy-Tailed Random Matrix Theory (HT-RMT). From this, we develop a Universal capacity control metric that is a weighted average of PL exponents. Rather than considering small toy NNs, we examine over 50 different, large-scale pre-trained DNNs, ranging over 15 different architectures, trained on ImagetNet, each of which has been reported to have different test accuracies. We show that this new capacity metric correlates very well with the reported test accuracies of these DNNs, looking across each architecture (VGG16/.../VGG19, ResNet10/.../ResNet152, etc.). We also show how to approximate the metric by the more familiar Product Norm capacity measure, as the average of the log Frobenius norm of the layer weight matrices. Our approach requires no changes to the underlying DNN or its loss function, it does not require us to train a model (although it could be used to monitor training), and it does not even require access to the ImageNet data.

研究の動機と目的

• テストデータやラベルにアクセスせずに、大規模な事前学習済みDNNのテスト精度の傾向を予測すること。
• 多様なDNNアーキテクチャに適用可能な普遍的で、教師なしの容量制御指標を開発すること。
• 重み行列の重い尾を持つ統計的性質が一般化性能と相関することを検証すること。
• DNN設計やファインチューニングを支援するスケーラブルでアーキテクチャに依存しない指標を提供すること。
• 空虚なVCに基づく境界やデータ依存のノルム測定値に対する理論的根拠に基づく代替手段を提供すること。

提案手法

• 本手法は、相関スペクトルのべき乗則フィッティングにより、DNN重み行列におけるHeavy-Tailed Mechanistic Universality (HT-MU) を同定する。
• 層ごとのべき乗則指数の重み付き平均として、普遍的な容量制御指標 $\hat{\alpha}$ を計算する。
• この指標は、層の重みの対数Frobeniusノルムの平均によって近似可能であり、HT-RMTと一般的なノルムベースの容量制御測定値を結びつける。
• モデルの再訓練、テストデータ、損失関数の変更が一切不要である。
• OSMR Sandboxから入手可能な既存の事前学習済みモデルを活用し、PyTorch実装での重み行列を分析する。
• 統計的妥当性は、$\hat{\alpha}$ と報告された ImageNet top-1 精度との間の相関分析によって検証される。

実験結果

リサーチクエスチョン

• RQ1 テストデータを使用せずに、教師なしの普遍的指標が事前学習済みDNNのテスト精度の傾向を予測できるか？
• RQ2 DNN重み行列における重い尾を持つ相関が、一般化能力の普遍的サインを形成するか？
• RQ3 提案された $\hat{\alpha}$ 指標は、従来のノルムベースの容量測定値と比較して、予測能で優れているか？
• RQ4 指標がテスト精度の傾向と相関しないためのアーキテクチャ的例外は存在するか？
• RQ5 データ漏洩を伴わずに、指標をアーキテクチャ探索やファインチューニングの指針に利用できるか？

主な発見

• $\hat{\alpha}$ 指標は、15のアーキテクチャから得た26の事前学習済みDNNにおいて、報告された ImageNet top-1 テスト精度と強く相関する。
• VGGおよびResNetシリーズでは、$\hat{\alpha}$ が平均対数Frobeniusノルム指標と同等またはそれ以上の相関を示す。
• 11の追加アーキテクチャシリーズのうち8つでは、$\hat{\alpha}$ の値が小さいほどテスト精度が高くなる傾向を示し、26モデル中1つの外れ値にとどまる。
• 反例も存在する—ResNeXt、MeNet、FDMobileNetでは、指標が精度の傾向を正しく予測できない。これは、アーキテクチャ上の制限を示唆する。
• 指標は多様なアーキテクチャにわたり頑健であり、学習データ、テストデータ、モデルの再訓練にアクセスする必要がない。
• $\hat{\alpha}$ 指標は平均対数Frobeniusノルムによって近似可能であり、HT-RMTと標準的なノルムベースの容量制御を結びつける。