[論文レビュー] Fantastic Generalization Measures and Where to Find Them

Yiding Jiang, Behnam Neyshabur+3 more|arXiv (Cornell University)|Dec 4, 2019

Machine Learning and Algorithms参考文献 41被引用数 153

ひとこと要約

大規模な実証研究で、変化したハイパーパラメータを用いて10,000以上の CNN を対象に40の複雑さ/一般化測度を評価し、どの測度が一般化と信頼性に関連するかを特定する。

ABSTRACT

Generalization of deep networks has been of great interest in recent years, resulting in a number of theoretically and empirically motivated complexity measures. However, most papers proposing such measures study only a small set of models, leaving open the question of whether the conclusion drawn from those experiments would remain valid in other settings. We present the first large scale study of generalization in deep networks. We investigate more then 40 complexity measures taken from both theoretical bounds and empirical studies. We train over 10,000 convolutional networks by systematically varying commonly used hyperparameters. Hoping to uncover potentially causal relationships between each measure and generalization, we analyze carefully controlled experiments and show surprising failures of some measures as well as promising measures for further research.

研究の動機と目的

• 確立済みおよび経験的な複雑さ測度が、さまざまなモデル全体で一般化をどの程度予測できるかを評価する。
• 偽の相関を避けるために大規模で統制された実験を用いて測度の信頼性を定量化する。
• 新規評価手法を用いて測度と一般化のいわゆる因果関係のような関係を調査する。
• 一般化測定の将来の理論と実践に向けた有望な方向性について指針を提供する。

提案手法

• 収束基準が満たされるまで、7つのハイパーパラメータを各3つの選択肢で変化させて、CIFAR-10モデルを2187モデル訓練した。
• 各モデルについて、PAC-Bayes、VC次元、ノルムベース、および経験的測度を含む40の複雑さ測度を算出した。
• 全モデルを横断して Kendall の順位相関 tau を用いて測度と一般化の整合性を評価した。
• パラメータごとの分析による粒度の高い相関を導入し、パラメータ特異的予測力（Psi）を検出した。
• ICアルゴリズムに触発された条件付き独立性フレームワークを用いて、測度と一般化の潜在的な因果リンクを評価した。
• データセット間の頑健性を検証するために SVHN でも分析を繰り返した。

実験結果

リサーチクエスチョン

• RQ1 幅広いハイパーパラメータ空間で一般化と頑健な相関を示す複雑さ測度はどれか？
• RQ2 ノルムベースやマージン/シャープネス関連の測度は信頼性高く一般化を予測するか、どのような訓練条件下でそうなるか？
• RQ3 統制された実験と条件付き独立性を用いて、測度と一般化の偽の相関と因果関係を見分けることができるか？
• RQ4 さまざまなハイパーパラメータが各測度の予測力にどのように影響するか？
• RQ5 シャープネスベースおよび最適化関連の測度は、従来の境界よりも一般化を予測する力が高いか？

主な発見

• いくつかの複雑さ測度は偽の相関を示し、慎重な実験設計がないと誤解を招く可能性がある。
• 最適化が確率的性質を導入すると、多くのノルムベース測度は一般化と負の相関を示す。特にスペクトルノルムの積境界が顕著。
• PAC-Bayes風境界を含むシャープネスベースの測度が、一般化ギャップの予測因子として総じて最も良い。
• 勾配ノイズや最適化速度など、最適化関連の測度は一般化を予測する力を示す。
• スペクトル複雑さは予想外の挙動を示す。スペクトル境界は一般化と負の相関、初期化までのフロベニウス距離は負の相関になることがあり、フロベニウスパラメータノルムは正の相関になることがある。
• クロスエントロピー、マージン、出力エントロピーなどの経験的測度は、より大きなマージンとより高い出力エントロピーがより良い一般化に関連するという一般的理解と一致する。