[論文レビュー] Convex Geometry and Duality of Over-parameterized Neural Networks

Tolga Ergen, Mert Pilancı|arXiv (Cornell University)|Feb 25, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用数 9

ひとこと要約

本稿は、過パラメータ化された2層ReLUネットワークを分析するための凸幾何的枠組みを導入し、最適解が凸集合の極端な点として現れることを示し、ℓ₁ノルムスパarsityに類似した暗黙的な正則化を誘発することを明らかにした。1次元およびランク1のデータに対して、最適ネットワークが線形スプライン補間を実現することを証明し、凸緩和およびカットプレーン法を用いて閉形式解とグローバル最適アルゴリズムを提供した。

ABSTRACT

We develop a convex analytic approach to analyze finite width two-layer ReLU networks. We first prove that an optimal solution to the regularized training problem can be characterized as extreme points of a convex set, where simple solutions are encouraged via its convex geometrical properties. We then leverage this characterization to show that an optimal set of parameters yield linear spline interpolation for regression problems involving one dimensional or rank-one data. We also characterize the classification decision regions in terms of a kernel matrix and minimum $\ell_1$-norm solutions. This is in contrast to Neural Tangent Kernel which is unable to explain predictions of finite width networks. Our convex geometric characterization also provides intuitive explanations of hidden neurons as auto-encoders. In higher dimensions, we show that the training problem can be cast as a finite dimensional convex problem with infinitely many constraints. Then, we apply certain convex relaxations and introduce a cutting-plane algorithm to globally optimize the network. We further analyze the exactness of the relaxations to provide conditions for the convergence to a global optimum. Our analysis also shows that optimal network parameters can be also characterized as interpretable closed-form formulas in some practically relevant special cases.

研究の動機と目的

• 過パラメータ化された2層ReLUネットワークにおける暗黙のバイアスを理解するための凸解析的枠組みを構築すること。
• 最適なネットワークパラメータを凸集合の極端な点として特徴づけ、単純さを幾何的構造と結びつけること。
• 1次元線形スプライン補間に関する既知の結果を、高次元およびランク1の回帰・分類タスクへと拡張すること。
• 凸緩和およびカットプレーン法を用いて、有限幅のネットワークに対するグローバル最適な訓練アルゴリズムを提供すること。
• 凸緩和が正確である条件を確立し、グローバル最適解への収束を保証すること。

提案手法

• ReLUネットワークの凸幾何的表現を用いて、無限個の制約を含む有限次元凸最適化問題として正則化された訓練問題を定式化する。
• 最適解を凸集合の極端な点として特徴づけ、データに適応した自己符号化器のような構造によって単純さを強制する。
• 極性双対性およびゲージ最適化を活用し、双対問題をデータに整合したベクトルの凸包の観点から再表現し、最小ℓ₁ノルム解と関連付ける。
• 無限個の制約を含む緩和された凸問題を解くために、カットプレーンアルゴリズムを導入し、反復的に違反する制約を追加する。
• 特殊なケース（例：1次元、ランク1のデータ）において最適パラメータの明示的解析的表現を導出し、閉形式解を可能にする。
• 特定の条件下で凸緩和の正確性を分析し、強い双対性を確立し、グローバル最適解への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたReLUネットワークにおける単純な解への暗黙のバイアスは、凸幾何学を用いてどのように形式的に特徴づけられるか？
• RQ2 有限幅の2層ReLUネットワークにおける最適なネットワークパラメータの幾何的構造は何か？ また、線形スプライン補間とはどのように関係するか？
• RQ3 有限幅のReLUネットワークの訓練は、凸緩和およびカットプレーン法を用いてグローバル最適化可能か？
• RQ4 ネットワーク訓練問題の凸緩和が、どのような条件下で正確なグローバル解をもたらすか？
• RQ5 ReLUネットワークの双対性枠組みは、線形システムにおける古典的な最小ℓ₁ノルム解とどのように関連するか？

主な発見

• 正則化された訓練問題の最適解は、データに適応した自己符号化器のような構造によって単純さが強制される凸集合の極端な点である。
• 1次元およびランク1の回帰・分類タスクにおいて、最適なネットワークパラメータは線形スプライン補間を実現し、実験的観察を説明する。
• 双対問題はゲージ最適化問題に等しく、ネットワーク解を線形システムの最小ℓ₁ノルム解と関連付ける。
• 特定の条件下で訓練問題の凸緩和が正確であるため、カットプレーン法を用いてグローバル最適化が可能である。
• 1次元およびランク1のデータなどの特殊ケースにおいて、最適パラメータの閉形式解が導出され、疑似逆行列およびノルムのしきい値を含む明示的公式が得られた。
• 原問題と双対問題の間に強い双対性が成立し、導出された解の最適性が確認され、理論的保証が可能になった。