[論文レビュー] Identifying Generalization Properties in Neural Networks

Huan Wang, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Sep 19, 2018

Neural Networks and Applications参考文献 18被引用数 39

ひとこと要約

この論文は、PAC-Bayes枠組み内において、ニューラルネットワークの一般化と局所的解の性質—特にヘッセ行列、そのリプシッツ定数、パラメータスケール—の理論的関係を確立する。Hessianに配慮した摂動アルゴリズムを提案し、一般化を向上させるためにノイズレベルを適応的に調整する。CIFAR-10、CIFAR-100、Tiny ImageNetのベンチマークで、テスト精度が向上することを示している。

ABSTRACT

While it has not yet been proven, empirical evidence suggests that model generalization is related to local properties of the optima which can be described via the Hessian. We connect model generalization with the local property of a solution under the PAC-Bayes paradigm. In particular, we prove that model generalization ability is related to the Hessian, the higher-order "smoothness" terms characterized by the Lipschitz constant of the Hessian, and the scales of the parameters. Guided by the proof, we propose a metric to score the generalization capability of the model, as well as an algorithm that optimizes the perturbed model accordingly.

研究の動機と目的

• 過パラメータ化された深層ネットワークが高容量にもかかわらず一般化がうまくいくというパラドックスを、局所的解の性質の分析によって解明すること。
• ヘッセ行列とその高階の性質によって定量化される局所的滑らかさとモデル一般化の関係を形式化すること。
• 理論的裏付けをもつ、ヘッセ行列に配慮した摂動アルゴリズムを開発し、適応的ノイズ注入によって一般化を向上させること。
• テスト性能と相関する新しい一般化メトリクス（pacGen）を提供し、摂動レベルの選定を支援すること。

提案手法

• 損失関数のヘッセ行列、ヘッセ行列のリプシッツ定数、パラメータスケール、学習サンプル数に明示的に依存するPAC-Bayes境界を導出する。
• 導出された境界に基づき、モデル一般化能力を評価する一般化メトリクス（pacGen）を導入する。
• 推定されたヘッセ行列の対角成分と勾配の大きさを用いて、ノイズレベルを適応的に設定する摂動ベースの最適化アルゴリズム（Perturbed OPT）を提案する。
• 完全なヘッセ行列の計算を伴わずに、効率的かつオンラインでヘッセ行列を推定するために、指数的スムージング（Adamに類似）を採用する。
• 勾配の絶対値が小さいパラメータ（|g_i| < β₂）に対してのみ摂動を適用することで、最適化安定性へのノイズの影響を低減する。
• 摂動の大きさに対数的減衰スケジュールを適用し、初期の探索と後期の精錬のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 モデル一般化は、損失関数のヘッセ行列およびその高階の滑らかさ（ヘッセ行列のリプシッツ定数）とどのように関係しているか？
• RQ2 局所的解の幾何構造を活用する理論的裏付けのある摂動戦略は、一般化を向上させることができるか？
• RQ3 最適な摂動レベルは、ヘッセ行列に比例してスケーリングされ、再パラメータ化に起因するスケーリング効果を相殺するようになるか？
• RQ4 提案された一般化メトリクス（pacGen）は、未観測データにおけるモデル性能を信頼性高く予測できるか？
• RQ5 摂動アルゴリズムは正則化と同様の効果を示し、訓練損失に悪影響を及げることなくテスト精度を向上させることができるか？

主な発見

• 一般化誤差は、ヘッセ行列、そのリプシッツ定数、パラメータスケール、学習サンプル数を含む項によって理論的に上限が定められる。
• 最適な摂動レベルは、約 1 / sqrt(Hessian + ρ√m κ) のスケーリングに従い、Dinhら（2017）が示した再パラメータ化感受性の低減を実現する。
• 提案された pacGen メトリクスは一般化性能と相関しており、低いスコアがより良いテスト一般化を示す。
• CIFAR-10 および CIFAR-100 において、Adam最適化子を用いた摂動アルゴリズムは、テスト精度を向上させつつ、わずかに訓練精度を低下させた。
• Tiny ImageNet では、摂動を施したSGDの変種がベースラインより高いバリデーション精度を達成し、一貫した正則化的挙動を示した。
• アルゴリズムの性能は、データセットや最適化子の種類にかかわらず安定しており、ヘッセ行列に基づく摂動原理の広範な適用可能性が示された。