[論文レビュー] Topological trivialization in non-convex empirical risk minimization

Andrea Montanari, Basil N. Saeed|arXiv (Cornell University)|Feb 16, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

この論文は、比例的な高次元スケーリングの下で非凸経験リスクの局所最小地形を Kac-Rice に基づく枠組みで特徴づけ、過サンプリング閾値を超える場合にレートの単純化を証明する。非凸 M-estimation および Tukey ロスを用いたロバスト回帰に特化する。

ABSTRACT

Given data $\{({\boldsymbol x}_i,y_i): i\le n\}$, with ${\boldsymbol x}_i$ standard $d$-dimensional Gaussian feature vectors, and $y_i\in{\mathbb R}$ response variables, we study the general problem of learning a model parametrized by ${\boldsymbol θ}\in{\mathbb R}^d$, by minimizing a loss function that depends on ${\boldsymbol θ}$ via the one-dimensional projections ${\boldsymbol θ}^{\sf T}{\boldsymbol x}_i$. While previous work mostly dealt with convex losses, our approach assumes general (non-convex) losses hence covering classical, yet poorly understood examples such as the perceptron and non-convex robust regression. We use the Kac-Rice formula to control the asymptotics of the expected number of local minima of the empirical risk, under the proportional asymptotics $n,d o\infty$, $n/d oα>1$. Specifically, we prove a finite dimensional variational formula for the exponential growth rate of the expected number of local minima. Further we provide sufficient conditions under which the exponential growth rate vanishes and all empirical risk minimizers have the same asymptotic properties (in fact, we expect the minimizer to be unique in these circumstances). We refer to this phenomenon as `rate trivialization.' If the population risk has a unique minimizer, our sufficient condition for rate trivialization is typically verified when the samples/parameters ratio $α$ is larger than a suitable constant $α_{\star}$. Previous general results of this type required $n\ge Cd \log d$. We illustrate our results in the case of non-convex robust regression. Based on heuristic arguments and numerical simulations, we present a conjecture for the exact location of the trivialization phase transition $α_{ ext{tr}}$.

研究の動機と目的

• n と d が比例的に大きくなるとき、非凸損失を伴うモデルの学習を動機付け、研究する。
• Kac-Rice 手法を用いて経験リスクの局所最小地形を特徴づける。
• 局所最小の指数成長率の有限次元変分式を導出する。
• すべての最小化解が漸近的性質を共有するレートの単純化に十分条件を提供する。
• 一般的な枠組みを非凸 M-estimation および Tukey ロスを用いたロバスト回帰へ特化する。
• 数値シミュレーションで理論予測を補強し、単純化の転移点を予想する。

提案手法

• n,d→∞ かつ n/d→α>1 の下で、期待局所最小数の漸近性を制御するために Kac-Rice 公式を用いる。
• 局所最小の成長を記述する経験分布とレート関数 Φ(μ,ν) を定義する（Eq. 3–5）。
• 制約が線形のときに最小最大の変分原理を得て、有限次元形式に還元する（Theorem 1）。
• 安定性/レプリコン型条件と明示的な α⋆ 閾値（Theorem 2）によりレート単純化の十分条件を導く。
• 一般的な結果を非凸 M-estimation、特に Tukey ロスを用いたロバスト回帰に特化する（Theorem 3）。
• 非凸ロスの近接演算子を stationary 条件とスペクトル安定性（Eqs. 33–37）へ接続する。

実験結果

リサーチクエスチョン

• RQ1 比例的高次元スケーリングにおいて経験リスクの局所最小の期待数の指数成長率はどうなるか？
• RQ2 レートの単純化（すべての局所最小が同じ漸近的性質を共有し、最小化解がほぼ一意になる）を発生させる条件は何か？
• RQ3 実務的に一般的な Kac-Rice フレームワークを有限次元の特徴付けに還元するにはどうするか？
• RQ4 α が大きい場合、非凸 M-estimation 問題や Tukey ロバスト回帰は landscape のトポロジーにおいてどう振る舞うか？
• RQ5 理論的予測を数値シミュレーションで検証できるか、また中程度の n,d に対してどれくらい正確か？

主な発見

• 局所最小の期待数の指数成長率の有限次元の変分式を導出した（Theorem 1）。
• レート単純化の十分条件を与え、 Φ⋆(μ,ν) が唯一の最適解となる explicit な α⋆ 閾値を示し、レートの鋭い landscape 表現を示す（Theorem 2）。
• 結果は非凸 M-estimation に特化し、Tukey ロスを用いたロバスト回帰の正確な予測を得て、数値実験と整合する。
• 数値実験は、単純化閾値 αtr 周辺で勾配降下ダイナミクスに相の転移を示し、α>αtr で単一の最小化解へ収束し、α<αtr で複数の結果を示す。
• 近接演算子に基づく表現（Eq. 33）は局所最適性条件を stationary 点とレプリコン条件（スピンガラス理論の類似） Eq. 38 に結びつける。