[論文レビュー] Representing smooth functions as compositions of near-identity functions with implications for deep network optimization

Peter L. Bartlett, Steven N. Evans+1 more|arXiv (Cornell University)|Apr 13, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用数 16

ひとこと要約

この論文は、任意の滑らかな双リプシッツ関数が、恒等写像に近い関数の合成として正確に表現可能であることを証明している。各関数は恒等写像からの小さなリプシッツ偏差を持つ。さらに、非線形回帰において、このような合成関数に対する機能的勾配降下法は、シグモイド活性化関数を用いた標準的な残差ネットワークにおけるパrametric勾配法とは異なり、局所最適でない臨界点を避ける。

ABSTRACT

We show that any smooth bi-Lipschitz $h$ can be represented exactly as a composition $h_m \circ ... \circ h_1$ of functions $h_1,...,h_m$ that are close to the identity in the sense that each $\left(h_i-\mathrm{Id} ight)$ is Lipschitz, and the Lipschitz constant decreases inversely with the number $m$ of functions composed. This implies that $h$ can be represented to any accuracy by a deep residual network whose nonlinear layers compute functions with a small Lipschitz constant. Next, we consider nonlinear regression with a composition of near-identity nonlinear maps. We show that, regarding Fréchet derivatives with respect to the $h_1,...,h_m$, any critical point of a quadratic criterion in this near-identity region must be a global minimizer. In contrast, if we consider derivatives with respect to parameters of a fixed-size residual network with sigmoid activation functions, we show that there are near-identity critical points that are suboptimal, even in the realizable case. Informally, this means that functional gradient methods for residual networks cannot get stuck at suboptimal critical points corresponding to near-identity layers, whereas parametric gradient methods for sigmoidal residual networks suffer from suboptimal critical points in the near-identity region.

研究の動機と目的

• 滑らかな双リプシッツ関数が近恒等写像の合成として正確に表現可能であることを示すことにより、深層残差ネットワークの理論的基盤を確立すること。
• 近恒等写像の合成を用いた非線形回帰の最適化の様相を、臨界点に注目して分析すること。
• 残差ネットワークにおける、関数に関する機能的勾配法と、ネットワーク重みに関するパrametric勾配法を比較すること。
• なぜ機能的勾配降下法は近恒等写像領域で局所最適でない臨界点を避けるのかを説明すること。

提案手法

• 任意の滑らかな双リプシッツ写像 $ h $ が、$ h = h_m \circ \cdots \circ h_1 $ として正確に分解可能であることを証明する。ここで各 $ h_i = \mathrm{Id} + N_i $ であり、$ \|N_i\|_L \leq C/m $ を満たす。$ C $ は定数、$ m $ は層数である。
• 線積分の勾配定理と滑らかさの仮定を用いて、$ h $ とその線形近似との乖離を抑え、$ N_i $ におけるリプシッツ制御を確立する。
• 2次損失関数の関数 $ h_i $ に関するフレシェ微分を分析し、近恒等写像領域における任意の臨界点がグローバル最小化子でなければならないことを示す。
• シグモイド活性化関数を用いた2層残差ネットワークを用いた反例を構築し、パrametric勾配降下法が、データが実現可能であっても、局所最適でない臨界点に収束する可能性があることを示す。
• 関数解析および非凸最適化の結果を応用し、残差ネットワークにおける無限パラメータ（非パラメトリック）と有限パラメータ（パラメトリック）最適化の挙動を比較する。
• 正則化または早期停止を用いて近恒等写像の性質を維持し、これと機能的勾配法による悪い臨界点の回避を結びつける。

実験結果

リサーチクエスチョン

• RQ1 任意の滑らかな双リプシッツ関数は、各層におけるリプシッツ偏差が小さくなるような近恒等写像の合成として正確に表現可能か？
• RQ2 近恒等写像の合成に関する機能的勾配降下法は、非線形回帰において局所最適でない臨界点を避けるか？
• RQ3 標準的な残差ネットワークにおけるシグモイド活性化関数を用いたパrametric勾配法は、なぜ近恒等写像領域で局所最適でない臨界点を避けることができないのか？
• RQ4 深層残差ネットワークの表現力と、関数的パラメータ化とパラメトリックパラメータ化の下での最適化の様相との関係は何か？
• RQ5 正則化や早期停止によって近恒等写像の性質を維持することで、残差ネットワーク最適化の収束特性はどのように変化するか？

主な発見

• 任意の滑らかな双リプシッツ関数 $ h $ は、$ m $ 個の関数 $ h_i = \mathrm{Id} + N_i $ の合成として正確に表現可能であり、$ \|N_i\|_L \leq C/m $ を満たす。これにより各 $ N_i $ は小さな摂動であることが保証される。
• 非線形回帰において、関数 $ h_i $ に関する2次損失の臨界点（フレシェ微分による）は、すべてグローバル最小化子でなければならない。これは、近恒等写像領域に局所最適でない臨界点が存在しないことを意味する。
• これに対して、シグモイド活性化関数を用いたパrametric残差ネットワークでは、データが実現可能であっても、勾配降下法が局所最適でない臨界点に収束する回帰問題が存在する。
• 機能的勾配法は層間相互作用のおかげで悪い臨界点を避けるが、パラメトリック法は各層内の内部ダイナミクスのため、こうした問題に脆弱である。
• この結果は、近恒等写像層を有する深層残差ネットワークにおける機能的勾配降下法が、与えられたパラメータ化のもとでグローバル収束する可能性があることを示唆する。これは、標準的なパラメトリック学習とは対照的である。
• 恒等写像からのリプシッツ偏差を小さく保つ正則化は、過学習を防ぎ、関数空間における多数の有効な方向を可能にすることで最適化を改善する。