[論文レビュー] Tractability from overparametrization: The example of the negative perceptron

Andrea Montanari, Yiqiao Zhong+1 more|arXiv (Cornell University)|Oct 28, 2021

Sparse and Compressive Sensing Techniques参考文献 64被引用数 6

ひとこと要約

この論文は、データが線形分離可能でない場合に、最大の負マージンを持つ線形分類器を見つけることを目的とする過パラメータ化設定におけるネガティブパーセプトロン問題を研究する。ランダム行列理論と漸近的解析を用いて、このような分類器の存在に関する鋭い閾値を導出し、統計的閾値（解が存在する）と線形計画法の閾値（効率的に見つかる）の間にはギャップがあることを示し、過パラメータ化学習における根本的な実行可能性のギャップを明らかにする。

ABSTRACT

In the negative perceptron problem we are given $n$ data points $({\boldsymbol x}_i,y_i)$, where ${\boldsymbol x}_i$ is a $d$-dimensional vector and $y_i\in\{+1,-1\}$ is a binary label. The data are not linearly separable and hence we content ourselves to find a linear classifier with the largest possible \emph{negative} margin. In other words, we want to find a unit norm vector ${\boldsymbol θ}$ that maximizes $\min_{i\le n}y_i\langle {\boldsymbol θ},{\boldsymbol x}_i angle$. This is a non-convex optimization problem (it is equivalent to finding a maximum norm vector in a polytope), and we study its typical properties under two random models for the data. We consider the proportional asymptotics in which $n,d o \infty$ with $n/d oδ$, and prove upper and lower bounds on the maximum margin $κ_{ ext{s}}(δ)$ or -- equivalently -- on its inverse function $δ_{ ext{s}}(κ)$. In other words, $δ_{ ext{s}}(κ)$ is the overparametrization threshold: for $n/d\le δ_{ ext{s}}(κ)-\varepsilon$ a classifier achieving vanishing training error exists with high probability, while for $n/d\ge δ_{ ext{s}}(κ)+\varepsilon$ it does not. Our bounds on $δ_{ ext{s}}(κ)$ match to the leading order as $κ o -\infty$. We then analyze a linear programming algorithm to find a solution, and characterize the corresponding threshold $δ_{ ext{lin}}(κ)$. We observe a gap between the interpolation threshold $δ_{ ext{s}}(κ)$ and the linear programming threshold $δ_{ ext{lin}}(κ)$, raising the question of the behavior of other algorithms.

研究の動機と目的

• 非線形分離可能なデータにおいて、過パラメータ化線形モデルを用いて大きな負マージンを達成する統計的妥当性を調査する。
• 高確率でマージン −κ を持つ解が存在するようになる過パラメータ化の閾値 δ_s(κ) を特徴づける。
• 線形計画法アルゴリズムの性能を分析し、そのような解を同定するための明確な閾値 δ_lin(κ) を特定する。
• 過パラメータ化学習における統計的妥当性とアルゴリズム的実行可能性のギャップを探索する。
• 勾配降下法などの最適化アルゴリズムが、過パラメータ化モデルに生じる非凸かつ高次元の問題をどのように解くかを理解する。

提案手法

• n, d → ∞ かつ n/d → δ となる割合の漸近的解析を用い、ネガティブパーセプトロンの典型的挙動を研究する。
• ランダムポリトープ幾何学とガウス過程比較（例：ゴードンの補題）のツールを適用して、解空間の構造を分析する。
• 集中不等式と尾確率推定を用いて、統計的閾値 δ_s(κ) の上界と下界を導出する。
• ネガティブパーセプトロンの線形計画法緩和を定式化し、漸近的解析を用いてその閾値 δ_lin(κ) を導出する。
• 調整パラメータを避けるように設計された微分可能損失関数における勾配降下法を分析し、大ノルム極限において勾配がゼロに収束することを証明する。
• ヘッセ行列解析と滑らかさの上限を用いて、適切なステップサイズ条件下での勾配降下法の収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 マージン −κ を持つ線形分類器が高確率で存在するようになる過パラメータ化の鋭い閾値 δ_s(κ) は何か？
• RQ2 線形計画法のためのアルゴリズム的閾値 δ_lin(κ) と比較して、統計的閾値 δ_s(κ) はどのように異なるか？
• RQ3 勾配降下法は過パラメータ化領域において、訓練誤差が消える解に収束するか？
• RQ4 ラベルが線形信号と相関している場合、漸近的推定誤差は何か？
• RQ5 高次元極限において κ → −∞ となる際、解空間の幾何構造はどのように変化するか？

主な発見

• 統計的閾値 δ_s(κ) と線形計画法の閾値 δ_lin(κ) の間にギャップが存在し、δ_s(κ) を超えると解は存在するが、LP では効率的に見つからないことを示唆している。
• κ → −∞ のとき、δ_s(κ) の上界と下界が一次のオーダーで一致し、フェーズ遷移の鋭さが確認される。
• 純粋なノイズモデルでは、n/d ≤ δ_s(κ) − ε のとき、κ-マージン分類器は高確率で存在し、n/d ≥ δ_s(κ) + ε のときは存在しない。
• 線形計画法アルゴリズムにおいて、閾値 δ_lin(κ) は δ_s(κ) よりも厳密に大きいことが示され、存在性と効率的計算の間の根本的なギャップが裏付けられる。
• 勾配降下法は大ノルム極限において勾配がゼロとなる臨界点に収束し、発散しないことが示され、過パラメータ化設定における有効性が裏付けられる。
• 線形信号モデルでは、漸近的推定誤差が特徴づけられ、信号対雑音比が増加するにつれて減少することが示され、ガウス過程比較を用いて明示的な上限が導出された。