[論文レビュー] Depth creates no more spurious local minima

Li Zhang|arXiv (Cornell University)|Jan 28, 2019

Stochastic Gradient Optimization Techniques参考文献 18被引用数 12

ひとこと要約

本稿では、任意の凸で微分可能な損失関数に対して、深層線形ネットワークに偽の局所最小値が存在しないことと、それに対応する2層線形ネットワークに偽の局所最小値が存在しないことが同値であることを証明しており、深層ネットワークの解析をより単純な2層のケースに還元する。主な貢献は、いかなる偽の局所最小値もフルランクをもつ必要があることを示す新規な摂動論法であり、これにより還元が可能となり、2次損失関数における偽の最小値の非存在を条件なしに証明することに成功している。

ABSTRACT

We show that for any convex differentiable loss, a deep linear network has no spurious local minima as long as it is true for the two layer case. This reduction greatly simplifies the study on the existence of spurious local minima in deep linear networks. When applied to the quadratic loss, our result immediately implies the powerful result in [Kawaguchi 2016]. Further, with the work in [Zhou and Liang 2018], we can remove all the assumptions in [Kawaguchi 2016]. This property holds for more general "multi-tower" linear networks too. Our proof builds on [Laurent and von Brecht 2018] and develops a new perturbation argument to show that any spurious local minimum must have full rank, a structural property which can be useful more generally.

研究の動機と目的

• 深層線形ネットワークの深さが偽の局所最小値を導入するかどうかという未解決の問題を解消すること。
• 深層線形ネットワークにおける偽の局所最小値の解析を2層のケースに還元することで簡略化すること。
• 偽の局所最小値が必ずフルランクをもつという非退化性の性質を確立すること—これは深層ネットワークに限らず一般に適用可能である。
• 結果をマルチタワーラインハーモニックネットワークに拡張し、先行研究における2次損失関数に関する仮定を排除すること。

提案手法

• 深層線形ネットワークにおけるいかなる偽の局所最小値もフルランクをもつ必要があることを示す、新規なランク1摂動論法を提案する。
• ネットワークのボトルネック層で分割することで、深層ネットワークにおける偽の最小値の問題を2層のケースに還元する。
• 摂動技法を用いて、深層ネットワーク内の非グローバルな臨界点が局所的に摂動され、2層の設定に還元可能であることを示す。
• フルランク性を用いて、従来の研究で複雑な解析を要したランク不足のケースを排除し、分析を簡素化する。
• 各タワーを1つのスーパーレイヤーとみなして、マルチタワーラインハーモニックネットワークに結果を拡張し、同じ還元原理を適用する。
• 既存の2層ネットワークに関する結果（例：[19]）を活用し、先行仮定なしに2次損失関数に対して条件なしの証明を達成する。

実験結果

リサーチクエスチョン

• RQ1 深層線形ネットワークの深さが、2層ネットワークに既に存在するもの以上の偽の局所最小値を追加的に生じさせるか？
• RQ2 任意の凸で微分可能な損失関数に対して、深層線形ネットワークにおける偽の局所最小値の存在は2層のケースに還元可能か？
• RQ3 深層線形ネットワークにおける偽の局所最小値が必ず満たすべき構造的性質は何か？
• RQ4 2次損失関数における深層線形ネットワークの偽の局所最小値の非存在を、制限的な仮定なしに条件なしに確立できるか？
• RQ5 還元原理はマルチタワーラインハーモニックネットワークへも拡張可能か？

主な発見

• 任意の凸で微分可能な損失関数に対して、深層線形ネットワークに偽の局所最小値が存在しないことと、それに対応する2層線形ネットワークに偽の局所最小値が存在しないことは同値である。
• 深層線形ネットワークにおけるいかなる偽の局所最小値もフルランクをもつ必要がある。これは解析を簡素化する非退化性の性質である。
• この結果により、2次損失関数における深層線形ネットワークに偽の局所最小値が存在しないことを条件なしに証明でき、Kawaguchi (2016) らの先行研究における仮定を排除する。
• マルチタワーラインハーモニックネットワークに対しても、2層ネットワークに還元する戦略が成立し、偽の最小値の非存在は、タワーボトルネックを合算して得られる2層ネットワークに依存する。
• 結合ボトルネックサイズ $b$ が $b \geq \max(m,n)$ を満たす場合、マルチタワーネットワークには偽の局所最小値が存在しない。
• 新たな摂動論法に基づく証明技法は、重い数学的道具を避け、Laurentとvon Brecht (2017) のアプローチをボトルネック層をもつネットワークへ一般化する。