[論文レビュー] Deep linear neural networks with arbitrary loss: All local minima are global

Thomas Laurent, James von Brecht|arXiv (Cornell University)|Dec 5, 2017

Sparse and Compressive Sensing Techniques参考文献 6被引用数 10

ひとこと要約

この論文は、任意の凸で微分可能な損失関数を用いた深層線形ネットワークにおいて、最も細い隠れ層が入力層または出力層と同等以上に広い場合、すべての局所的最小値が大域的最小値であることを証明している。証明は、特異値分解（SVD）を用いた単純な行列分解の議論に依拠しており、これらの幅の条件のもとでは非大域的局所的最小値が存在し得ないことを示し、さらに損失関数の微分可能性が本質的であることも示している—非微分可能な凸損失関数では、最適でない局所的最小値が生じ得る。

ABSTRACT

We consider deep linear networks with arbitrary convex differentiable loss. We provide a short and elementary proof of the fact that all local minima are global minima if the hidden layers are either 1) at least as wide as the input layer, or 2) at least as wide as the output layer. This result is the strongest possible in the following sense: If the loss is convex and Lipschitz but not differentiable then deep linear networks can have sub-optimal local minima.

研究の動機と目的

• 深層線形ネットワークにおいて、凸で微分可能な損失関数を用いる場合、最適でない局所的最小値が存在しうるかという根本的な問いに答えること。
• 局所的最小値が常に大域的最小値であることが保証される最小の構造的条件を同定すること。
• 損失関数の微分可能性が、最適でない局所的最小値の存在を回避するための必要条件であることを示すこと。
• 高度な最適化理論を用いずに、基本的な線形代数と特異値分解（SVD）のみを用いた短く、素朴な証明を提供すること。

提案手法

• 深層線形ネットワークを行列積の合成として定式化する：$\hat{\mathbf{y}}^{(i)} = W_L \cdots W_1 \mathbf{x}^{(i)}$。
• 最適化問題を、微分可能な凸損失 $\mathcal{L}(W_1, \ldots, W_L) = \frac{1}{N}\sum_i \ell(\hat{\mathbf{y}}^{(i)}, \mathbf{y}^{(i)})$ を最小化する問題として分析する。
• 特異値分解（SVD）に基づく行列分解の議論を適用し、一次の最適性条件を満たす任意の臨界点が大域的最適であることを示す。
• 最も細い隠れ層が入力層または出力層と同等以上に広い場合、大域的最適性に必要なフルランク構造をパrametrizationが保つことを示す。
• 非微分可能な凸損失（例：$f(x,y) = |x| + (1-y)_+ - 1$）を用いた反例を提示し、微分可能性が欠落する場合に最適でない局所的最小値が生じうることを示す。
• 最適でない局所的最小値の存在が、臨界点における一意な勾配の存在に強く依存しており、非微分可能な関数では部分微分が多価化し、最適化が最適でない解に閉じ込められる可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの幅と損失関数にどのような条件下で、深層線形ネットワークにおけるすべての局所的最小値が大域的最小値となるか？
• RQ2 深層線形ネットワークにおける最適でない局所的最小値の存在が、損失関数の微分可能性に依存しているか？
• RQ3 高度な最適化理論を用いずに、深層線形ネットワークにおける局所的最小値の大域的最適性を示す短く、素朴な証明を構築できるか？
• RQ4 損失関数が凸ではあるが微分可能でない場合、最適化の様相はどのように変化するか？
• RQ5 最も細い隠れ層が入力層または出力層と同等以上に広いという幅の条件は、局所的最小値の大域的最適性にとって必須であるか？

主な発見

• 損失関数が凸で微分可能であり、かつ最も細い隠れ層が入力層または出力層と同等以上に広い場合、深層線形ネットワークにおけるすべての局所的最小値が大域的最小値である。
• 証明は素朴であり、特異値分解（SVD）と基本的な行列微分法のみに依拠しており、最適化や線形代数の高度な道具を用いる必要がない。
• 結果はタイトである：損失関数が凸でリプシッツ連続ではあるが微分可能でない場合、反例（$f(x,y) = |x| + (1-y)_+ - 1$）により、最適でない局所的最小値が存在しうる。
• 幅の条件は必須である：入力層および出力層よりも細い隠れ層が存在する場合、パラメータ化はフルランク行列を回復できず、最適でない局所的最小値が生じる可能性がある。
• 最適でない局所的最小値の存在は、臨界点における一意な勾配の存在に強く依存しており、非微分可能な損失関数では部分微分が多価化し、最適でない解に最適化が閉じ込められる可能性がある。
• 結果は平均二乗誤差に限らず、任意の微分可能な凸損失関数に一般化可能であり、従来の研究とは異なり、データやターゲットのランクに関する仮定を必要としない。