[論文レビュー] Fisher-Rao Metric, Geometry, and Complexity of Neural Networks

Tengyuan Liang, Tomaso Poggio+2 more|arXiv (Cornell University)|Nov 5, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用数 90

ひとこと要約

Fisher-Rao ノルムを 不変性を考慮した深層ネットワークの容量指標として導入し、既存ノルムを包含することを示し、一般化と自然勾配への関連を示す。CIFAR-10 の実験で理論を補足する。

ABSTRACT

We study the relationship between geometry and capacity measures for deep neural networks from an invariance viewpoint. We introduce a new notion of capacity --- the Fisher-Rao norm --- that possesses desirable invariance properties and is motivated by Information Geometry. We discover an analytical characterization of the new capacity measure, through which we establish norm-comparison inequalities and further show that the new measure serves as an umbrella for several existing norm-based complexity measures. We discuss upper bounds on the generalization error induced by the proposed measure. Extensive numerical experiments on CIFAR-10 support our theoretical findings. Our theoretical analysis rests on a key structural lemma about partial derivatives of multi-layer rectifier networks.

研究の動機と目的

• 幾何学的で不変性に基づくニューラルネットワークの複雑さの概念を動機づける。
• Fisher-Rao ノルムを容量指標として定義・分析する。
• Fisher-Rao ノルムが既存のノルムベースの容量指標を境界づけるまたは関連づける方法を示す。
• Fisher-Rao 幾何と一般化、最適化（自然勾配）との関連を確立する。
• 標準データセット上の理論的主張を支持する経験的証拠を提供する。

提案手法

• Fisher 情報演算子 I(θ) と損失の勾配を用いて Fisher-Rao ノルムを定義する。
• 多層 ReLU ネットワークに対する構造的勾配恒等式を証明する（Lemma 2.1）と、マージンと停留点に関する推定推論を導く。
• Fisher-Rao ノルムの解析的公式を導出する（Theorem 3.1）と、機能的に同等のパラメータ化に対する不変性を示す（Corollary 3.1）。
• Fisher-Rao ノルムがスペクトル、グループ、パス、誘導ノルムを umbrella として包摂するノルム比較結果を開発する（Theorem 3.2, Section 4）。
• 深線形ネットワークの一般化誤差を境界づけ、ノルムベースの分解を介して整流化ネットワークへ拡張する（Theorem 4.1 および Proposition 4.1）。
• 過パラメータ化とランダムラベルの下で Fisher-Rao ノルムの挙動を示す extensive CIFAR-10 実験を提示する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおいて一般化を効果的に捉える不変な幾何学的容量指標とは何か？
• RQ2 Fisher-Rao ノルムは既存のノルムベースの容量概念とどう関連し統一するのか？
• RQ3 Fisher-Rao フレームワークは深層および線形ネットワークの一般化誤差を説明または境界づけることができるのか？
• RQ4 Fisher-Rao 幾何（自然勾配）を用いた深層ネットの訓練における計算的・最適化的影響は何か？
• RQ5 CIFAR-10 の経験的結果は不変性と一般化に関する理論的主張を支持するか？

主な発見

• Fisher-Rao ノルムは、いくつかのノルムベースの複雑さを統合する不変性を備えた容量指標を提供する。
• 正確な等式（Theorem 3.1）は、Fisher-Rao ノルムを損失とのモデル微分の整列として表現し、幾何と一般化を結びつける。
• ノルム比較の結果は、Fisher-Rao ノルムが一般的なノルム（スペクトル、グループ、パス、誘導ノルム）を定数倍以下で下界づけることを示し、傘のような幾何を提供する。
• 深層線形ネットワークに対して、Fisher-Rao に基づく容量は次元とマージンに関係する一般化保証を提供する（Theorem 4.1）。
• 実験では、Fisher-Rao ノルムは幅の増加（過パラメータ化）に対して安定で、CIFAR-10 で他のノルムより一般化ギャップをよりよく追跡する。
• 自然勾配は Fisher-Rao 幾何と整合し、再パラメータ化および過パラメータ化に対する近似的不変性を提供する。