[論文レビュー] Deep Neural Networks with Multi-Branch Architectures Are Less Non-Convex

Hongyang Zhang, Junru Shao+1 more|arXiv (Cornell University)|Jun 6, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用数 9

ひとこと要約

この論文は、多枝構造を備えた深層ニューラルネットワークが、双対ギャップの縮小によって測定されるように、非凸性が低減することを示している。任意の活性化関数とヘッジ損失に対して、母集団および標本リスクの双対ギャップは、枝の数が増加するにつれてゼロに近づくことが証明されている。一方、ℓ₂損失を用いた線形ネットワークでは、双対ギャップが正確にゼロであり、これは強い双対性が成り立つことを示している。

ABSTRACT

Several recently proposed architectures of neural networks such as ResNeXt, Inception, Xception, SqueezeNet and Wide ResNet are based on the designing idea of having multiple branches and have demonstrated improved performance in many applications. We show that one cause for such success is due to the fact that the multi-branch architecture is less non-convex in terms of duality gap. The duality gap measures the degree of intrinsic non-convexity of an optimization problem: smaller gap in relative value implies lower degree of intrinsic non-convexity. The challenge is to quantitatively measure the duality gap of highly non-convex problems such as deep neural networks. In this work, we provide strong guarantees of this quantity for two classes of network architectures. For the neural networks with arbitrary activation functions, multi-branch architecture and a variant of hinge loss, we show that the duality gap of both population and empirical risks shrinks to zero as the number of branches increases. This result sheds light on better understanding the power of over-parametrization where increasing the network width tends to make the loss surface less non-convex. For the neural networks with linear activation function and $\ell_2$ loss, we show that the duality gap of empirical risk is zero. Our two results work for arbitrary depths and adversarial data, while the analytical techniques might be of independent interest to non-convex optimization more broadly. Experiments on both synthetic and real-world datasets validate our results.

研究の動機と目的

• ResNeXt、Inception、Wide ResNetのような多枝ニューラルネットワークアーキテクチャが優れた性能を達成する理由を理解すること。
• 双対ギャップを測定値として用いて、深層ニューラルネットワークの内在的非凸性を定量化すること。
• 多枝および線形ニューラルネットワークにおける母集団および標本リスクの双対ギャップに関する理論的保証を確立すること。
• 過パラメータ化とアーキテクチャ設計が最適化の難易度を低下させるメカニズムについて、解析的洞察を提供すること。

提案手法

• 任意の活性化関数とヘッジ損失を有する多枝ネットワークにおける双対ギャップの境界を求めるために、Shapley-Folkman補題を用いる。
• 母集団および標本リスクの双対ギャップが、枝の数が増加するにつれてゼロに近づくことを証明する。
• 双対証明の構築と低ランク近似への還元を用いて、ℓ₂損失を用いた深層線形ネットワークにおける強い双対性を確立する。
• 非凸最適化定式化の双対問題を導出し、それが凸であり、近接アルゴリズムによって解けることを示す。
• 特異値分解（SVD）の切り捨てと射影演算子を用いて、最適解の構造を分析する。
• 行列ノルムの不等式と固有値の性質を用いて、プライマル解と双対解の間の残差を境界付ける。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける多枝構造は、内在的非凸性の低減をもたらすか？
• RQ2 任意の活性化関数を有する深層ニューラルネットワークにおいて、双対ギャップを解析的に境界付けるか、最小化できるか？
• RQ3 ℓ₂損失を用いた深層線形ネットワークにおいて、強い双対性（双対ギャップがゼロ）が成り立つ条件は何か？
• RQ4 枝の数を増やすことで、母集団および標本リスクの両設定において双対ギャップはどのように変化するか？
• RQ5 過パラメータ化は、深層学習の最適化の多様性を低減する役割を果たすか？

主な発見

• 任意の活性化関数とヘッジ損失の変種を有する深層ニューラルネットワークにおいて、母集団および標本リスクの双対ギャップは、枝の数が増加するにつれてゼロに収束する。
• ℓ₂損失を用いた深層線形ニューラルネットワークでは、標本リスクの双対ギャップが正確にゼロであり、強い双対性が成り立つことが示された。
• 理論的結果は、任意のネットワークの深さおよび悪意のあるデータ分布に対しても成り立つ。
• 双対ギャップの低減は、最適化の多様性を低下させる多枝構造に起因する。
• 合成データおよび実世界のデータセットを用いた実験により、理論的予測である損失関数の滑らかさと非凸性の低減が裏付けられた。
• 双対証明の構築や低ランク近似といった解析的手法は、非凸最適化分野において独自の価値を有する。