[論文レビュー] A Scale Invariant Flatness Measure for Deep Network Minima

Akshay Rangamani, Nam H. Nguyen+4 more|arXiv (Cornell University)|Feb 6, 2019

Stochastic Gradient Optimization Techniques参考文献 26被引用数 20

ひとこと要約

本稿では、正に同次的な活性化関数（例：ReLU）を備えたニューラルネットワークにおけるパラメータスケーリング変換が誘導する商多様体構造を活用することで、深層ニューラルネットワークの極小点におけるスケール不変な平坦性測度を提案する。この商空間にリーマン計量を構築することで、スケーリングに対して不変なヘッセ行列に基づく鋭さ測度を導出し、大バッチSGDの極小点が、この新しい計量のもとで小バッチのそれよりも確かに平坦であることを確認した。

ABSTRACT

It has been empirically observed that the flatness of minima obtained from training deep networks seems to correlate with better generalization. However, for deep networks with positively homogeneous activations, most measures of sharpness/flatness are not invariant to rescaling of the network parameters, corresponding to the same function. This means that the measure of flatness/sharpness can be made as small or as large as possible through rescaling, rendering the quantitative measures meaningless. In this paper we show that for deep networks with positively homogenous activations, these rescalings constitute equivalence relations, and that these equivalence relations induce a quotient manifold structure in the parameter space. Using this manifold structure and an appropriate metric, we propose a Hessian-based measure for flatness that is invariant to rescaling. We use this new measure to confirm the proposition that Large-Batch SGD minima are indeed sharper than Small-Batch SGD minima.

研究の動機と目的

• 深層ニューラルネットワークに正に同次的な活性化関数を備える場合、標準的なヘッセ行列に基づく平坦性測度が、同じ関数を保持するパラメータスケーリングに対して不変でないという根本的問題に対処すること。
• パラメータ空間におけるスケーリング変換を同値関係として形式化し、平坦性の幾何的取り扱いを可能にすること。
• スケーリングによる関数的同値性を捉えるパラメータ空間上の商多様体構造を構築すること。
• ヘッセ行列に基づくスケール不変鋭さ測度を定義するために、この商多様体上にリーマン計量を導出すること。
• 大バッチと小バッチのSGDが得る極小点の間で、新しい不変測度のもとで相対的な平坦さを評価する実験的妥当性を検証すること。

提案手法

• 本稿は、ReLUネットワークにおいて関数を保存する形でのスケーリング $T_\alpha(\theta) = (\alpha\theta_1, \alpha^{-1}\theta_2)$ が存在することを特定し、パラメータ空間上に同値関係を形成することを示す。
• これらのスケーリングにおける同値類が、$\overline{\mathcal{M}}$（パラメータ空間の閉包）の商多様体 $\mathcal{M} = \overline{\mathcal{M}} / \sim$ を形成することを証明する。
• 重みベクトルとバイアスベクトルの直交補空間を特徴付けるために、$\overline{\mathcal{M}}$ からスタイフェル多様体の積への滑らかな埋め込みを構築し、商構造の定義を可能にする。
• パラメータベクトルの直交分解を用いて、商多様体上にリーマン計量を誘導することで、一意に定義されたヘッセ行列に基づく平坦性測度を可能にする。
• 結果として得られる平坦性測度は、ヘッセ行列を商多様体上に射影したノルムとして定義され、スケーリングに対して不変であることを保証する。
• 本手法を大バッチと小バッチのSGDが得る極小点の比較に適用し、新しい測度を用いて相対的平坦さを評価する。

実験結果

リサーチクエスチョン

• RQ1 正に同次的な活性化関数を備えた深層ネットワークにおいて、関数を保存するスケーリングに対して不変なヘッセ行列に基づく平坦性測度を構築できるか？
• RQ2 このようなネットワークのパラメータ空間は、スケーリングによって誘導される関数的同値性の下で、商多様体構造を有するか？
• RQ3 提案されたスケール不変平坦性測度は、大バッチと小バッチのSGDが得る極小点を区別できるか？
• RQ4 既存の鋭さ測度に内在する曇り（単純なスケーリングによって恣意的に変化しうる問題）を、新しい測度が解消できるか？
• RQ5 新しい測度は、大バッチSGDが小バッチSGDよりも鋭い極小点に収束するという経験的直観を裏付けるか？

主な発見

• 提案された平坦性測度は、ネットワーク関数を保存するスケーリングに対して不変であり、従来のヘッセ行列ベースの測度の主な制限を解消した。
• 正に同次的な活性化関数を備えた深層ネットワークのパラメータ空間は、スケーリングによって誘導される同値関係の下で、明確に定義された商多様体構造を有する。
• 新しい測度は、大バッチSGDが得る極小点が小バッチSGDのそれよりも顕著に平坦であることを確認し、平坦極小点の一般化仮説を支持する。
• 商多様体の構築は、パラメータ空間からスタイフェル多様体への埋め込みに基づくものであり、同値関係が閉じており、商が埋め込まれた部分多様体であることを証明する。
• 平坦性測度は、ヘッセ行列を商多様体上に射影することで導出され、幾何的整合性と不変性を保証する。
• 本手法は、深層学習における既存の鋭さ測度の数学的に厳密で定量的に意味のある代替手段を提供する。