[論文レビュー] A Coordinate-Free Construction of Scalable Natural Gradient

Kevin Luk, Roger Grosse|arXiv (Cornell University)|Aug 30, 2018

Model Reduction and Neural Networks参考文献 29被引用数 8

ひとこと要約

本稿では、ニューラルネットワークの重み空間に新たに定義されたリーマン計量のもとで、K-FACアルゴリズムを座標に依存しない構成として、正確な自然勾配として提示する。微分幾何学的枠組み—特に、引き戻し（pullbacks）とアフィン変換—を用いてK-FACを定式化することで、活性化のアフィン再パラメータライゼーションに対して不変であることが示され、座標に基づく近似に依存せずに、その不変性の原理的幾何的基礎が確立される。

ABSTRACT

Most neural networks are trained using first-order optimization methods, which are sensitive to the parameterization of the model. Natural gradient descent is invariant to smooth reparameterizations because it is defined in a coordinate-free way, but tractable approximations are typically defined in terms of coordinate systems, and hence may lose the invariance properties. We analyze the invariance properties of the Kronecker-Factored Approximate Curvature (K-FAC) algorithm by constructing the algorithm in a coordinate-free way. We explicitly construct a Riemannian metric under which the natural gradient matches the K-FAC update; invariance to affine transformations of the activations follows immediately. We extend our framework to analyze the invariance properties of K-FAC applied to convolutional networks and recurrent neural networks, as well as metrics other than the usual Fisher metric.

研究の動機と目的

• K-FACアルゴリズムの幾何的で座標に依存しない解釈を提供し、その不変性の性質を説明すること。
• K-FACの更新ルールが、この計量のもとで正確な自然勾配となるような、ニューラルネットワークの重み空間へのリーマン計量を構築すること。
• 内在的な幾何的対象を用いて、K-FACの不変性解析を再帰的・畳み込みネットワークに拡張すること。
• K-FACの活性化のアフィン変換に対する不変性が、座標に依存しない構成から直接導かれるかどうかを示すこと。
• K-FACを、恣意的な近似ではなく、構造的で近似された計量の下での自然勾配法として統一的に理解すること。

提案手法

• ニューラルネットワークを、抽象的なアフィン空間（活性化と前活性化）間のアフィン写像の列としてモデル化し、重みとバイアスをアフィン写像の空間の要素として扱う。
• ネットワーク写像を介した出力フィッシャー計量の引き戻しを用いて、重み空間へのリーマン計量を定義し、これによりK-FAC計量が得られる。
• 時間ステップ（再帰的ネットワークの場合）または層（順方向ネットワークの場合）ごとの和としてK-FAC計量を構築し、活性化の外積およびヤコビアンの外積の期待値を用いる。
• 標準的な仮定のもとで、得られた計量が非退化であることを証明し、自然勾配が適切に定義されることを保証する。
• 引き戻しのファンクター性を用いて、K-FACの更新ルールがこのK-FAC計量のもとで正確に自然勾配に一致することを示す。
• 座標に依存しない推論を用いて不変性を証明：活性化または前活性化における任意のアフィン基底変換が計量を保ち、したがって更新ルールも保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 K-FACアルゴリズムは、座標系に依存しない明確に定義されたリーマン計量のもとで、自然勾配法として解釈可能か？
• RQ2 K-FACの活性化のアフィン変換に対する不変性の背後にある幾何的構造は何か？
• RQ3 内在的な幾何的構成を用いて、K-FAC計量を再帰的および畳み込みネットワークにどのように拡張できるか？
• RQ4 座標に依存しない定式化は、K-FACが特定の再パラメータライゼーションに対して不変であるが、他のものに対してはそうでない理由を説明できるか？
• RQ5 K-FACの不変性特性は、座標に基づく更新ルールの代数的変形に依存せず、計量構造から直接導けるか？

主な発見

• K-FACの更新ルールは、出力フィッシャー計量の引き戻しを用いて構築された座標に依存しないリーマン計量のもとで、正確な自然勾配である。
• K-FAC計量は $ g_{\text{KFAC}}(\omega) = T \cdot \mathbb{E}_{\mathbb{T}}[\alpha_{t-1} \otimes \alpha_{t-1}] \otimes \mathbb{E}_{\mathbb{T}}[\varphi_{\xi,t}^*g(\zeta_t)] $ として定義され、座標形式での標準的なK-FAC近似と一致する。
• K-FACの活性化のアフィン変換に対する不変性は、座標に依存しない構成から直ちに導かれる。なぜなら、このような変換は計量構造を保つからである。
• 出力計量の期待値による引き戻しの計量が非退化であれば、K-FAC計量も非退化であり、自然勾配が適切に定義されることを保証する。
• 時間ステップの和を用い、時間平均の活性化およびヤコビアン統計を用いることで、K-FAC計量は再帰的ネットワークへ自然に拡張できる。
• 座標に依存しない証明により、K-FACがアフィン再パラメータライゼーションに対して不変であることが示された。なぜなら、計量が幾何的対象（引き戻し、テンソル積）から構成され、それらがこのような変換に対して不変であるからである。