[論文レビュー] Lightlike Neuromanifolds, Occam's Razor and Deep Learning

Ke Sun, Frank Nielsen|arXiv (Cornell University)|May 27, 2019

Neural Networks and Applications参考文献 51被引用数 8

ひとこと要約

この論文は、深層学習の一般化パラドックスを解消するために、ニューラルネットワークのパラメータ空間を特異な半リーマン多様体としてモデル化し、情報幾何を用いて、フィッシャー情報行列の固有値がモデルの複雑さを低減する最小記述長（MDL）基準を導出する。また、ジェファレーズの事前分布とガウス事前分布の間を滑らかに補間する新しい事前分布を導入し、高次元の重み空間におけるオッカムの剃刀に類似した帰納的バイアスを実現する。

ABSTRACT

How do deep neural networks benefit from a very high dimensional parameter space? Their high complexity vs stunning generalization performance forms an intriguing paradox. We took an information-theoretic approach. We find that the locally varying dimensionality of the parameter space can be studied by the discipline of singular semi-Riemannian geometry. We adapt Fisher information to this singular neuromanifold. We use a new prior to interpolate between Jeffreys' prior and the Gaussian prior. We derive a minimum description length of a deep learning model, where the spectrum of the Fisher information matrix plays a key role to reduce the model complexity.

研究の動機と目的

• 高容量の深層ニューラルネットワークが強力な一般化性能を達成するというパラドックスを解消すること。
• ニューラルネットワークのパラメータ空間を特異な半リーマン多様体としてモデル化し、局所的に変化する次元性を分析すること。
• 特異なニューロマニフォールドにフィッシャー情報行列を適応させ、モデルの複雑さの推定を改善すること。
• フィッシャー情報行列の固有値を組み込んだ最小記述長（MDL）基準を導出すること。
• ジェファレーズの事前分布とガウス事前分布の間を補間する新しい事前分布を導入し、高次元学習におけるオッカムの剃刀を強化すること。

提案手法

• 微分幾何学を用いて、深層ニューラルネットワークのパラメータ空間を特異な半リーマン多様体として形式化する。
• 特異なニューロマニフォールドにフィッシャー情報計量を適応させ、局所次元性の分析を可能にする。
• ジェファレーズの非情報的事前分布とガウス事前分布の間を滑らかに補間するハイブリッド事前分布を提案する。
• フィッシャー情報行列の固有値に依存するモデル複雑さを反映する最小記述長（MDL）形式を導出する。
• フィッシャー情報行列の固有値を用いて有効なモデル複雑さを定量化し、高次元設定におけるオッカムの剃刀を可能にする。
• 情報理論的原則を用いて、パラメータ空間の幾何的構造と一般化性能の間の関係を結ぶ。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークのパラメータ空間における局所的に変化する次元性は、モデルの複雑さと一般化にどのように影響するか？
• RQ2 特異な半リーマン多様体幾何は、ニューラルネットワーク重み空間の内在的幾何をどのようにモデル化できるか？
• RQ3 フィッシャー情報行列の固有値スペクトルは、深層学習モデルの最小記述長にどのように影響するか？
• RQ4 ハイブリッド事前分布は、帰納的バイアスと情報理論的モデル選択のバランスをどのように果たすか？
• RQ5 高次元的で特異なパラメータ空間における深層ネットワークに、オッカムの剃刀をどのように形式化し適用できるか？

主な発見

• 深層ニューラルネットワークのパラメータ空間は、局所的に変化する次元性を示しており、特異な半リーマン幾何を用いることで厳密に分析可能である。
• 特異なニューロマニフォールドに適応されたフィッシャー情報計量は、有効なモデル複雑さを支配する固有値スペクトルを明らかにする。
• 提案されたハイブリッド事前分布により、非情報的バイアスと正則化された帰納的バイアスの間を滑らかに遷移させることができ、一般化性能が向上する。
• フィッシャー固有値スペクトルから導出された最小記述長基準は、高次元設定におけるモデル複雑さの低減を合理的に可能にする。
• 情報幾何的フレームワークにより、高容量ネットワークであっても有効次元が低い単純なモデルを好むオッカムの剃刀が支持される。
• 結果は、高次元パラメータ空間が幾何的および情報理論的正則化を通じて強力な一般化を達成できることを示している。