[論文レビュー] On Dropout and Nuclear Norm Regularization

Poorya Mianjy, Raman Arora|arXiv (Cornell University)|May 28, 2019

Nuclear reactor physics and engineering参考文献 38被引用数 9

ひとこと要約

この論文は、二乗損失を伴う深層線形ネットワークにおけるドロップアウトが引き起こす暗黙的正則化を形式的に特徴づけている。ドロップアウトが、ℓ₂パス正則化子と再スケーリング不変項から成る明示的正則化子を誘発することを示しており、その凸包はネットワーク写像の二乗核ノルムに一致する。高ドロップアウト率の下では、グローバル最適解がネットワーク写像の核ノルムを最小化するものであるとさらに特徴づけている。

ABSTRACT

We give a formal and complete characterization of the explicit regularizer induced by dropout in deep linear networks with squared loss. We show that (a) the explicit regularizer is composed of an $\ell_2$-path regularizer and other terms that are also re-scaling invariant, (b) the convex envelope of the induced regularizer is the squared nuclear norm of the network map, and (c) for a sufficiently large dropout rate, we characterize the global optima of the dropout objective. We validate our theoretical findings with empirical results.

研究の動機と目的

• 二乗損失を伴う深層線形ネットワークにおけるドロップアウトが誘発する明示的正則化子を形式的に特徴づけること。
• 誘発された正則化子の凸包を分析し、それがネットワーク写像の核ノルムとどのように関係するかを明らかにすること。
• 高ドロップアウト率下でのドロップアウト目的関数のグローバル最適解を特定すること。
• ドロップアウトと低ランク解の関係を、理論的知見を実証的に検証すること。

提案手法

• ベルヌーイ的ドロップアウトマスクの期待損失を分析することで、ドロップアウトが誘発する明示的正則化子を導出する。
• 正則化子がネットワーク重みの再スケーリングに対して不変であることを示し、ℓ₂パス正則化子を含む成分を持つことを明らかにする。
• 誘発された正則化子の凸包が、ネットワーク写像の二乗核ノルムに一致することを確立する。
• ラグランジュ双対性とKKT条件を用いて、高ドロップアウト率下でのグローバル最適解を特徴づける。
• 双対定式化を通じた特異値の縮小を適用し、最適解が低ランクであることを示す。
• 合成および実世界の回帰タスクにおいて理論的主張を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 二乗損失を伴う深層線形ネットワークにおけるドロップアウトが誘発する明示的正則化子は何か？
• RQ2 誘発された正則化子の凸包は、ネットワーク写像の核ノルムとどのように関係するか？
• RQ3 ドロップアウトがネットワーク写像において低ランク解をもたらす条件は何か？
• RQ4 ドロップアウト目的関数のグローバル最適解は、核ノルム最小化とどのように関係するか？
• RQ5 正則化子の理論的特徴づけは、実証的に検証可能か？

主な発見

• ドロップアウトが誘発する明示的正則化子は、ℓ₂パス正則化子と追加の再スケーリング不変項から成る。
• 誘発された正則化子の凸包は、ネットワーク写像の二乗核ノルムに一致する。
• 十分に高いドロップアウト率の下では、ドロップアウト目的関数のグローバル最適解は、ネットワーク写像の核ノルムを最小化する解に対応する。
• 最適解は特異値の縮小を示し、非ゼロの特異値がドロップアウト率に応じて比例して小さくなる。
• 最適ネットワーク写像のランクは、ドロップアウト率から導かれるしきい値条件を満たす非ゼロ特異値の数によって上限が定まる。
• 実証的結果は、ドロップアウトが低ランク解を促進することを確認しており、核ノルム正則化の理論的予測と整合的である。