[論文レビュー] Norm-Based Capacity Control in Neural Networks

Behnam Neyshabur, Ryota Tomioka+1 more|arXiv (Cornell University)|Feb 27, 2015

Machine Learning and ELM参考文献 5被引用数 76

ひとこと要約

この論文は、グループノルム正則化を通じてサイズに依存しない容量制御を可能にする、全結合ニューラルネットワーク向けの一般化されたノルムベースの正則化フレームワークを導入する。その結果、サイズに依存しない容量制御を可能にするのは、特定のノルム、すなわちユニットごとの ℓ₁ または全体の ℓ₂ のみであることが示された。また、ノルム正則化が適用されても、深さによる一般化誤差の避けられない指数的依存性が残ることを証明した。

ABSTRACT

We investigate the capacity, convexity and characterization of a general family of norm-constrained feed-forward networks.

研究の動機と目的

• ノルムベースの正則化のみで、ネットワークのサイズや深さに依存せずに、深層順方向ネットワークの容量を制御できるかを調査すること。
• このようなノルムベースの正則化が凸な仮説クラスを生成する条件を特定し、最適化や解析が容易になるかを評価すること。
• 特に深いネットワークにおいても、ネットワークサイズに依存しない容量制御が可能となる条件を同定すること。
• 異なるノルム正則化子（ユニットごとのものと全体のもの）の一般化および表現力に与える影響を分析すること。
• 深層学習モデルにおける深さ、ノルム制約、一般化誤差の間の本質的トレードオフを理解すること。

提案手法

• 各ユニット内の重みに対する ℓp ノルムと、ユニット間の ℓq ノルムを組み合わせた統一的なグループノルム正則化フレームワークを提案：これはユニットごとの正則化と全体の正則化を一般化する。
• 一般化誤差のバウンドにラデマッハ複雑度を用いて、得られた仮説クラスを分析し、ノルム制約とネットワークの深さの相互作用に注目する。
• ユニットごとの ℓ₁ 正則化と、新たなパスベース正則化子との関係を確立し、重みノルム制約の新たな解釈を提供する。
• 2層ネットワークにおける全体の ℓ₂ 正則化が、凸ニューラルネットワーク（Bengio et al., 2005）と同等であることを示し、既存の凸最適化フレームワークと接続する。
• 帰納的証明と反例を用いて、ノルム制約付きの ReLU ネットワークで一般化誤差が深さに指数的依存することを示し、その依存性を回避できないことを証明する。
• 対称凸包と ReLU 活性化の操作を適用し、層をまたいで関数クラスの進化を分析することで、帰納的複雑度バウンドの限界を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 ノルムベースの正則化のみで、ネットワークサイズや深さを明示的に制御せずに、深層順方向ネットワークの容量を制御できるか？
• RQ2 ノルムベースの正則化がどのような条件下で凸な仮説クラスを生成するのか。その影響は最適化と一般化にどう現れるか？
• RQ3 p > 1 のユニットごとの ℓp 正則化、または p > 2 の全体の ℓp 正則化で、サイズに依存しない容量制御が可能か？
• RQ4 ノルム制約下でのネットワークの深さが一般化誤差に与える影響は何か。その依存性は回避可能か？
• RQ5 γ-測度（パスベースノルム）とμ-測度（凸包ベースノルム）の関係は何か。それらは最適化ダイナミクスにどのように影響するか？

主な発見

• ユニットごとの ℓ₁ 正則化が、深層ネットワークにおけるサイズに依存しない容量制御を可能にする唯一のユニットノルム制御形式である。
• 全体の ℓp 正則化は、p ≤ 2 の場合にのみ、サイズに依存しない容量制御を可能にする。深さが有界であっても同様である。
• 全体の ℓ₂ 正則化が適用されても、一般化誤差は依然として深さに指数的依存を示し、その依存性は回避できない。
• ノルム制約付きの深層ネットワークが誘導する仮説クラスは、トレースノルムや最大ノルムの類似物など、特定のノルム制約の下でのみ凸である。
• 対称凸包をとった後、ReLU 活性化を行う操作は、ラデマッハ複雑度を増加させ、深さに指数的依存を避ける帰納的議論を無効にすることがある。
• 反例により、[凸包]₊ 操作がラデマッハ複雑度を増加させることを示し、一般のノルム制約下では深さ依存の指数的増大が避けられないことを証明した。