[論文レビュー] Normalized Flat Minima: Exploring Scale Invariant Definition of Flat Minima for Neural Networks using PAC-Bayesian Analysis

Yusuke Tsuzuku, Issei Sato+1 more|arXiv (Cornell University)|Jan 15, 2019

Gaussian Processes and Bayesian Inference参考文献 32被引用数 14

ひとこと要約

本稿では、PAC-Bayesian解析に基づいて導出されたスケール不変な損失関数の平坦性を測る指標「正規化された平坦な最小値（normalized flat minima）」を導入する。層ごとのスケーリングを用いて曲率とパラメータノルムを再重み付けすることで、従来の平坦性定義に見られるスケール依存性を解消し、汎化ギャップとの相関を91.1%まで向上させた。これは標準的なヘッセ行列ベースの測定法の70.8%を大きく上回る。

ABSTRACT

The notion of flat minima has played a key role in the generalization studies of deep learning models. However, existing definitions of the flatness are known to be sensitive to the rescaling of parameters. The issue suggests that the previous definitions of the flatness might not be a good measure of generalization, because generalization is invariant to such rescalings. In this paper, from the PAC-Bayesian perspective, we scrutinize the discussion concerning the flat minima and introduce the notion of normalized flat minima, which is free from the known scale dependence issues. Additionally, we highlight the scale dependence of existing matrix-norm based generalization error bounds similar to the existing flat minima definitions. Our modified notion of the flatness does not suffer from the insufficiency, either, suggesting it might provide better hierarchy in the hypothesis class.

研究の動機と目的

• 既存の平坦な最小値定義のスケール依存性を解消する。これはパラメータの再スケーリングに対して一般化が不変であるのと対照的である。
• 従来の一般化境界と平坦性測定が、一様な事前分布の分散仮定により同じスケール感受性を示すことを特定する。
• PAC-Bayesianフレームワークに層ごとのスケーリングを組み込むことで、スケール不変な平坦性測定を構築する。
• 提案手法が、過学習モデル（例：ランダムラベルで訓練されたモデル）を従来手法よりも明確に識別できることを示す。
• 平坦性とパラメータスケールを一貫的かつ不変な形で統合する、理論的基盤を提供する。

提案手法

• 層ごとのパラメータスケーリングを明示的に扱うPAC-Bayesian境界を定式化し、一様な事前分布をスケールに敏感な事前分布に置き換える。
• 正規化された鋭さ（normalized sharpness）を定義し、ヘッセ行列のトレースの平方根を重み行列のフロベニウスノルムで割ることで、行・列のスケーリングに対して不変となるようにする。
• 個々の重み行列およびその行・列の再スケーリングに対して不変となるように、行列正規化された鋭さ測定を導出する。
• PAC-Bayesianフレームワーク内で正規化されたスケールを組み込むために、KLダイバージェンス項を変更したガウス事前分布と事後分布を用いる。
• 重み行列の行および列方向に正規化を適用することで、パラメータの再スケーリングに対して不変でありながら関数の等価性を保持する。
• ランダムラベルの割合を変化させたWide ResNetsを用いた実験により、鋭さ測定と一般化ギャップの関係を検証する。

実験結果

リサーチクエスチョン

• RQ1 一般化がパラメータの再スケーリングに対して不変であるのと同様に、パラメータ再スケーリングに対して不変な平坦性測定を定義できるか？
• RQ2 なぜ既存の平坦性定義および一般化境界が、パラメータが再スケーリングされても一般化と相関しなくなるのか？
• RQ3 PAC-Bayesianフレームワークをどのように拡張すれば、層ごとのスケーリングを組み込んでより良い一般化境界を得られるか？
• RQ4 提案された正規化された平坦性測定は、標準的なヘッセ行列ベースやノルムベースの測定法よりも、過学習モデルと一般化モデルをより明確に区別できるか？
• RQ5 新しい測定法は、平坦性とパラメータスケールをスケール不変な形で統合することで、仮説クラスの階層を改善できるか？

主な発見

• 提案された正規化された鋭さは、ランダムラベルを用いたCIFAR-10での一般化ギャップと91.1%の相関を示し、標準的なヘッセ行列ベースの鋭さ測定（70.8%）を顕著に上回った。
• 正規化された平坦な最小値の定義は、重み行列の行および列方向の再スケーリングに対して不変であり、従来の定義の主要な限界を解消した。
• 従来の平坦性測定が失敗する状況でも、本手法は本物のラベルとランダムラベルで訓練されたモデルを明確に識別できた。
• 分析により、既存の行列ノルムベースの一般化境界もスケール依存性を示すことが判明し、本フレームワークはこれを回避した。
• 正規化された鋭さ測定は、重み行列を2つの等しい部分に分割し、それぞれ異なるスケールに再スケーリングするような再パrameterizationに対しても不変であるが、Fisher-Raoノルムとは異なり不変ではない。
• 実験結果により、正規化された鋭さが、単純なパラメータ数のカウントや正規化されていない曲率測定よりも、一般化のよりタイトで信頼性の高い代理指標であることが確認された。