[論文レビュー] The Multilinear Structure of ReLU Networks

Thomas Laurent, James von Brecht|arXiv (Cornell University)|Dec 29, 2017

Neural Networks and Applications参考文献 19被引用数 11

ひとこと要約

この論文は、ReLUネットワークにヒンジ損失を適用した場合、パラメータ空間に多変数線形構造が現れ、滑らかなセルと微分不可能な境界に分割されることを明らかにした。非平坦な局所的最小値はすべて最適でない（非ゼロ損失）であり、ゼロ損失解が存在する場合には平坦な最小値がグローバルに最適であることが証明された。これは、ReLUネットワークの学習ダイナミクスを理解するには非滑らか解析が不可欠であることを示している。

ABSTRACT

We study the loss surface of neural networks equipped with a hinge loss criterion and ReLU or leaky ReLU nonlinearities. Any such network defines a piecewise multilinear form in parameter space. By appealing to harmonic analysis we show that all local minima of such network are non-differentiable, except for those minima that occur in a region of parameter space where the loss surface is perfectly flat. Non-differentiable minima are therefore not technicalities or pathologies; they are heart of the problem when investigating the loss of ReLU networks. As a consequence, we must employ techniques from nonsmooth analysis to study these loss surfaces. We show how to apply these techniques in some illustrative cases.

研究の動機と目的

• ReLUネットワークにヒンジ損失を適用した場合の損失関数の幾何的・解析的構造を理解すること。
• 非凸的かつ非滑らかな最適化の多様な状況にもかかわらず、深層ReLUネットワークの学習がなぜ成功するのかというパラドックスを解明すること。
• 微分可能性と最適性の観点から局所的最小値の性質を同定すること。
• 微分不可能な最小値が病理的ではないが、ReLUネットワークの最適化挙動において中心的役割を果たすことを確立すること。
• データが分離可能である条件下で、平坦な最小値がグローバルに最適であることを示すこと。一方、鋭い最小値は常に非最適である。

提案手法

• パラメータ空間を、活性化パターンが一定である開いたセル（セル内）と、微分不可能な領域である境界（セル境界）に有限に分割する。
• 各セルに制限した損失関数が多変数線形形式であることを示し、調和解析および強い最大値原理の適用を可能にする。
• 非滑らか解析を用いて、特にパラメータ空間の微分不可能な境界における局所的最小値を分析する。
• 強い最大値原理を用いて、損失関数が領域内で定数（平坦）でない限り、非自明な最適解はセル境界上にしか現れないことを証明する。
• 分離可能なデータの仮定の下で多クラスヒンジ損失および二値ヒンジ損失を分析し、最適性条件を導出する。
• 再帰的ネットワーク構成を用いて、滑らかな内部領域における局所的最小値が、ゼロ損失解に対応することを示す。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークにヒンジ損失を適用した場合、微分可能な局所的最小値は存在するか？ その条件は何か？
• RQ2 ReLUネットワークにおける局所的最小値の微分可能性と最適性の関係は何か？
• RQ3 損失関数の多変数線形構造を活用して、局所的最小値の質を特徴づけられるか？
• RQ4 鋭い（微分不可能な）局所的最小値は、ReLUネットワークにヒンジ損失を適用した場合、常に非最適であるか？
• RQ5 どのような条件下で平坦な局所的最小値がグローバルに最適になるか？

主な発見

• ReLUネットワークにヒンジ損失を適用した場合、非平坦な局所的最小値はすべて微分不可能であり、厳密に正の損失を持つ。
• 損失が一定（平坦）な領域に存在する局所的最小値は、そのような解が存在する場合にはグローバルに最適であり、ゼロ損失を達成する。
• 平坦な領域に隣接しない微分不可能な境界上に存在する鋭い局所的最小値は、常に非ゼロ損失を持つため、非最適である。
• ゼロ損失最小化解が存在する場合、平坦な最小値はグローバルに最適であり、鋭い最小値は厳密に非最適である。これは明確な二分法的構造を示している。
• 損失関数が滑らかなセルの内部で局所的最小値をとるためには、その領域で損失が恒等的にゼロでなければならない。これはグローバル最適性を意味する。