[論文レビュー] Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms

Arda Sahiner, Tolga Ergen+2 more|arXiv (Cornell University)|Dec 24, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、重み減衰を用いた2層ベクトル出力ReLUニューラルネットワークの学習が、有限次元の凸copositiveプログラムを解くことと等価であることを確立しており、データのランクが固定されている場合に、グローバル最小値を求めるための最初の多項式時間アルゴリズムを可能にする。これは、ニューラルネットワーク最適化とcopositiveプログラミングの深い関係を明らかにし、特定の条件下ではソフトスレッショルドSVDを用いて正確な解が得られ、実用的にSGDの挙動と一致するタイトなcopositive緩和が可能であることを示している。

ABSTRACT

We describe the convex semi-infinite dual of the two-layer vector-output ReLU neural network training problem. This semi-infinite dual admits a finite dimensional representation, but its support is over a convex set which is difficult to characterize. In particular, we demonstrate that the non-convex neural network training problem is equivalent to a finite-dimensional convex copositive program. Our work is the first to identify this strong connection between the global optima of neural networks and those of copositive programs. We thus demonstrate how neural networks implicitly attempt to solve copositive programs via semi-nonnegative matrix factorization, and draw key insights from this formulation. We describe the first algorithms for provably finding the global minimum of the vector output neural network training problem, which are polynomial in the number of samples for a fixed data rank, yet exponential in the dimension. However, in the case of convolutional architectures, the computational complexity is exponential in only the filter size and polynomial in all other parameters. We describe the circumstances in which we can find the global optimum of this neural network training problem exactly with soft-thresholded SVD, and provide a copositive relaxation which is guaranteed to be exact for certain classes of problems, and which corresponds with the solution of Stochastic Gradient Descent in practice.

研究の動機と目的

• 重み減衰を用いた2層ベクトル出力ReLUニューラルネットワークのグローバル最適化の姿を理解すること。
• 非凸なニューラルネットワーク学習問題の凸半無限双対を同定すること。
• 学習問題のグローバル最小値を保証して収束するアルゴリズムを構築すること。
• ニューラルネットワーク最適化とcopositiveプログラミングの理論的リンクを確立すること。
• ソフトスレッショルドSVDがグローバル最適解をもたらす条件を特定すること。

提案手法

• ベクトル出力ReLUネットワーク学習問題の凸半無限強双対を導出し、有限次元のcopositiveプログラムと等価であることを示す。
• 双対を完全正定値行列の凸包を用いて表現し、ニューラルネットワークとcopositive最適化を結びつける。
• 双対を解くためのカットプレーン法を提案し、一般にはO(n^d poly(nc))の複雑さ、ランクrのデータではO(n^r poly(nc))の複雑さを有する。
• 特定の問題クラスにおいて正確なcopositive緩和を導入し、実用的にSGDの解と一致することを示す。
• Fenchel双対性を用いて一般の凸損失関数へ拡張し、同じ構造を持つ有限次元凸双対を導出する。
• 一般の凸損失関数に対し、双対定式化にFrank-Wolfe法を適用し、適切な修正を加える。

実験結果

リサーチクエスチョン

• RQ1 ベクトル出力ReLUニューラルネットワーク学習問題のグローバル最小値は、凸最適化によって特徴付けられるか？
• RQ2 ニューラルネットワーク学習とcopositiveプログラムの明確な関係は何か？
• RQ3 どのような条件下でソフトスレッショルドSVDを用いてグローバル最適解を正確に得られるか？
• RQ4 計算複雑性はデータ次元とランクに対してどのようにスケーリングされるか？
• RQ5 SGDの挙動と実用的に一致する、保証されたタイトなニューラルネットワーク問題の緩和は存在するか？

主な発見

• ベクトル出力ReLUニューラルネットワーク学習問題は、有限次元の凸copositiveプログラムと等価であり、深層学習とcopositive最適化の間の新規で根本的な関係を確立している。
• データ行列のランクrが固定されている場合、グローバル最小値はカットプレーン法を用いて多項式時間O(n^r poly(nc))で得られる。
• データ行列が低ランクであり、特定の構造的条件を満たす場合、ソフトスレッショルドSVDを用いてグローバル最適解が保証されて達成可能である。
• 特定の問題クラスにおいて、問題のcopositive緩和は正確であり、実験的にSGDが得る解と一致する。
• Fenchel双対性を用いて一般の凸損失関数へ拡張可能で、同じ構造を持つ有限次元凸双対が得られる。
• 線形活性化関数を用いたネットワークでは、グローバル最小値が核ノルム正則化問題に対応し、有限次元の強い双対が得られる。