[論文レビュー] Landscape analysis for shallow ReLU neural networks: complete classification of critical points for affine target functions.

Patrick Cheridito, Arnulf Jentzen+1 more|arXiv (Cornell University)|Mar 19, 2021

Stochastic Gradient Optimization Techniques参考文献 23被引用数 11

ひとこと要約

この論文は、標的関数がアフィン関数である浅いReLUニューラルネットワーク（1層の隠れ層を有する）における臨界点の完全な分類を提供する。隠れニューロンの配置の組み合わせ的解析を用いて、すべての局所的最小値およびサドル点が特定の構造的形態を取ることを証明し、損失関数の多様体に局所的最大値が存在しないことを示している。

ABSTRACT

In this paper, we analyze the landscape of the true loss of a ReLU neural network with one hidden layer. We provide a complete classification of the critical points in the case where the target function is affine. In particular, we prove that local minima and saddle points have to be of a special form and show that there are no local maxima. Our approach is of a combinatorial nature and builds on a careful analysis of the different types of hidden neurons that can occur in a ReLU neural network.

研究の動機と目的

• 1層の隠れ層を有する浅いReLUニューラルネットワークの損失関数の多様体を理解すること。
• このようなネットワークに現れるすべての臨界点（局所的最小値、サドル点、局所的最大値）を分類すること。
• 局所的最大値が存在するかを特定し、局所的最小値およびサドル点の構造的形態を同定すること。
• ReLUネットワークにおけるニューロンの挙動および活性化パターンを分析するための組み合わせ的フレームワークを構築すること。

提案手法

• 隠れニューロンの配置の組み合わせ的解析を、その活性化パターンおよび重み構造に基づいて行う。
• アフィン関数を表現する役割に基づいてニューロンをタイプに分類する。
• 重みおよびバイアスに関する幾何的・代数的制約を用いて、可能な臨界点タイプの体系的列挙を行う。
• ReLU損失関数の部分微分を分析することで、臨界点の必要条件を導出する。
• ReLUネットワークの区分的線形構造を活用し、一貫した活性化パターンを持つ領域にパラメータ空間を分割する。
• 背理法およびケース解析を用いて、局所的最大値の存在を除外する。

実験結果

リサーチクエスチョン

• RQ1 浅いReLUネットワークにおいて、アフィン関数を標的にする損失関数の多様体に局所的最大値は存在するか？
• RQ2 このようなネットワークにおける局所的最小値およびサドル点は、どのような構造的形態を取るか？
• RQ3 隠れニューロンの活性化パターンは、臨界点の位置および性質をどのように制約するか？
• RQ4 すべての臨界点を組み合わせ的手法を用いて体系的に分類できるか？

主な発見

• アフィン関数を標的にする浅いReLUネットワークの損失関数の多様体には、局所的最大値が存在しない。
• すべての局所的最小値は、標的関数を正確に表現する活性および非活性ニューロンの特定の配置によって特徴づけられる。
• すべてのサドル点も、標的関数の部分的表現に関連する特定の組み合わせ的構造を示す。
• 臨界点の分類は、すべて隠れ層におけるニューロンの活性化パターンの組み合わせ的タイプによって完全に決定される。