[論文レビュー] How degenerate is the parametrization of neural networks with the ReLU activation function

Dennis Elbrächter, Julius Berner+1 more|arXiv (Cornell University)|May 23, 2019

Neural Networks and Applications被引用数 11

ひとこと要約

この論文は、ネットワークパラメータとその実現関数の関係を分析することで、ReLUニューラルネットワークのパrameter化における退化現象を調査する。浅いネットワークにおいて、Sobolevノルムの下で実現写像の逆安定性を確立し、制限されたパrameter空間内の局所的最小値が近似的に最適な実現に対応することを示す。これにより、関数空間における効果的な最適化が可能になる。

ABSTRACT

Neural network training is usually accomplished by solving a non-convex optimization problem using stochastic gradient descent. Although one optimizes over the networks parameters, the main loss function generally only depends on the realization of the neural network, i.e. the function it computes. Studying the optimization problem over the space of realizations opens up new ways to understand neural network training. In particular, usual loss functions like mean squared error and categorical cross entropy are convex on spaces of neural network realizations, which themselves are non-convex. Approximation capabilities of neural networks can be used to deal with the latter non-convexity, which allows us to establish that for sufficiently large networks local minima of a regularized optimization problem on the realization space are almost optimal. Note, however, that each realization has many different, possibly degenerate, parametrizations. In particular, a local minimum in the parametrization space needs not correspond to a local minimum in the realization space. To establish such a connection, inverse stability of the realization map is required, meaning that proximity of realizations must imply proximity of corresponding parametrizations. We present pathologies which prevent inverse stability in general, and, for shallow networks, proceed to establish a restricted space of parametrizations on which we have inverse stability w.r.t. to a Sobolev norm. Furthermore, we show that by optimizing over such restricted sets, it is still possible to learn any function which can be learned by optimization over unrestricted sets.

研究の動機と目的

• パラメータから実現関数への写像を分析することで、ReLUニューラルネットワークの非凸的最適化の様相を理解すること。
• パrameter空間における局所的最小値が、パrameterの退化のため、関数空間で良い解に必ずしも対応しない理由を特定すること。
• 制限されたパrameter空間における最適化が、近似的に最良の実現をもたらす条件を確立すること。
• 標準的なニューラルネットワークと同等の近似能力を維持しつつ、制限されたパrameter空間における最適化が有効であることを示すこと。

提案手法

• ネットワークパラメータから計算される関数への実現写像の逆安定性に注目し、その分析を行う。
• 実現関数と対応するパラメータの類似度を測るためにSobolevノルムを導入する。
• パラメータ空間を制限することで逆安定性を保証し、浅いネットワークにおける病理的でない退化を回避する。
• 近似理論を用いて、制限された空間が制限なし最適化で学習可能なすべての関数をサポートすることを示す。
• 制限されたパラメータ空間における正則化された局所的最小値が、実現空間で近似的に最良の解に対応することを証明する。
• 損失関数が実現空間上で凸であることを確立し、制限されたパrameter化のもとで収束保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜReLUネットワークのパラメータ空間における局所的最小値が、関数空間で必ずしも良い解に対応しないのか？
• RQ2 浅いReLUネットワークに対して、実現写像の逆安定性をどのような条件下で確立できるか？
• RQ3 制限されたパラメータ空間における最適化でも、制限なし最適化と同等の表現能力を達成できるか？
• RQ4 ノルムの選択（例：Sobolevノルム）が実現写像の安定性にどのように影響するか？
• RQ5 パラメータ空間における正則化と関数空間における最適性の関係は何か？

主な発見

• パrameter化における病理的でない退化のため、一般には実現写像の逆安定性を保証できない。
• 浅いReLUネットワークでは、Sobolevノルムの下でパラメータを制限することで逆安定性が成立する。
• 制限されたパラメータ空間における正則化された局所的最小値は、実現空間で近似的に最良の解に対応する。
• 制限されたパラメータ空間は、標準的なReLUネットワークが持つ完全な近似能力を維持する。
• 制限された空間における最適化は、パrameterの自由度が減少しても、制限なし最適化と同等の性能を達成する。
• 使用される損失関数（例：平均二乗誤差、交差エントロピー）は、実現空間上で凸であるため、強い収束保証が可能である。