[論文レビュー] Positively Scale-Invariant Flatness of ReLU Neural Networks

Mingyang Yi, Qi Meng+3 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Neural Network Applications参考文献 20被引用数 11

ひとこと要約

本稿では、ReLUニューラルネットワークの正のスケール不変性（PSI）を考慮した、基底パス値に基づく平坦性の新たな測度であるPSIフラットネスを提案する。従来の平坦性定義はReLUユニットの正の斉次性を反映していないため、その限界を克服する。著者らは理論的にPSIフラットネスと一般化の関係をPAC-Bayes境界を用いて示し、実験的に低いPSIフラットネスを示す極小点がより良い一般化性能を示すことを、基底パス空間における損失関数の形状の可視化によって検証した。

ABSTRACT

It was empirically confirmed by Keskar et al.\cite{SharpMinima} that flatter minima generalize better. However, for the popular ReLU network, sharp minimum can also generalize well \cite{SharpMinimacan}. The conclusion demonstrates that the existing definitions of flatness fail to account for the complex geometry of ReLU neural networks because they can't cover the Positively Scale-Invariant (PSI) property of ReLU network. In this paper, we formalize the PSI causes problem of existing definitions of flatness and propose a new description of flatness - \emph{PSI-flatness}. PSI-flatness is defined on the values of basis paths \cite{GSGD} instead of weights. Values of basis paths have been shown to be the PSI-variables and can sufficiently represent the ReLU neural networks which ensure the PSI property of PSI-flatness. Then we study the relation between PSI-flatness and generalization theoretically and empirically. First, we formulate a generalization bound based on PSI-flatness which shows generalization error decreasing with the ratio between the largest basis path value and the smallest basis path value. That is to say, the minimum with balanced values of basis paths will more likely to be flatter and generalize better. Finally. we visualize the PSI-flatness of loss surface around two learned models which indicates the minimum with smaller PSI-flatness can indeed generalize better.

研究の動機と目的

• 従来の平坦性定義がReLUネットワークの正のスケール不変性（PSI）を考慮していないため、その不適切さを是正すること。
• ネットワーク重みの正のスケーリング変換に対して不変である新たな平坦性測度—PSIフラットネス—を形式化すること。
• PAC-Bayes一般化境界を用いて、PSIフラットネスと一般化誤差の理論的関係を確立すること。
• 基底パス空間における損失関数の形状の可視化を通じて、低いPSIフラットネスがより良い一般化を示すことを実験的に検証すること。

提案手法

• 基底パス（ReLUネットワーク内すべてのパスの最大線形独立部分集合）の値を用いてPSIフラットネスを定義する。これらの値がPSI変数であることが証明されているため。
• 重み空間における従来の平坦性定義に対応する3つのPSIフラットネスの変種を提案するが、重み空間ではなく基底パス値に基づいて再定式化することでスケール不変性を保証する。
• 最大と最小の基底パス値の比に依存するPAC-Bayes一般化境界を導出する。これにより、バランスの取れたパス値が一般化誤差を低減することを示す。
• 可視化の過程で損失評価のため、Mengら[16]のスケルトン法を用いて基底パス空間における摂動を重み空間に再投影する。
• 基底パス空間内の2つのランダム方向に摂動をサンプリングし、再投影された重みを用いて順伝播計算により損失関数の表面を可視化する。
• 異なるSGDバッチサイズ（128対2048）で訓練した2つのモデルを比較し、一般化性能に差が出る極小点（テスト精度87.78% 対 86.3%）を取得する。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークの正のスケール不変性を考慮しないと、従来の平坦性定義は一般化行動を適切に捉えられるか？
• RQ2 ReLUネットワーク重みの正のスケーリング変換に対して不変な平坦性測度は存在するか？
• RQ3 最大と最小の基底パス値の比が低いほど、ReLUネットワークの一般化性能が向上するか？
• RQ4 基底パス空間における損失関数の形状の可視化により、より平坦で一般化性能の高い極小点を特定できるか？

主な発見

• 提案されたPSIフラットネス測度は正のスケーリング変換に対して不変であり、従来の重み空間における平坦性定義よりもReLUネットワークに適した測度である。
• PAC-Bayス一般化境界により、最大と最小の基底パス値の比が小さくなるほど一般化誤差が減少することが示され、バランスの取れた基底パス値が平坦で一般化性能の高い極小点を示すことを裏付けた。
• 基底パス空間における損失関数表面の可視化により、バッチサイズを小さくしたモデル（テスト精度87.78%）がPSIフラットネスにおいてより平坦な谷に位置しているのに対し、大きなバッチサイズで学習したモデル（86.3%精度）はより鋭い領域に位置していることが明らかになった。
• 可視化結果は、PSIフラットネスが重み空間における平坦性よりも一般化行動をより適切に捉えていることを確認した。後者は、同様の一般化性能の差を識別できない。
• 本研究は、基底パス値がReLUネットワークの損失関数の幾何構造を分析する有効なPSI変数であることを示した。