[논문 리뷰] Topological trivialization in non-convex empirical risk minimization

Andrea Montanari, Basil N. Saeed|arXiv (Cornell University)|2026. 02. 16.

Statistical Methods and Inference인용 수 0

한 줄 요약

이 논문은 proportional 고차원 스케일링 하에서 비볼록 경험 리스크의 로컬 미니마 풍경을 Kac-Rice 기반 프레임워크로 특성화하고, 오버샘플링에서 임계값을 넘는 경우 rate trivialization을 증명한다. 또한 비볼록 M-estimation 및 Tukey 로스가 있는 강건 회귀에 프레임워크를 특수화한다.

ABSTRACT

Given data $\{({\boldsymbol x}_i,y_i): i\le n\}$, with ${\boldsymbol x}_i$ standard $d$-dimensional Gaussian feature vectors, and $y_i\in{\mathbb R}$ response variables, we study the general problem of learning a model parametrized by ${\boldsymbol θ}\in{\mathbb R}^d$, by minimizing a loss function that depends on ${\boldsymbol θ}$ via the one-dimensional projections ${\boldsymbol θ}^{\sf T}{\boldsymbol x}_i$. While previous work mostly dealt with convex losses, our approach assumes general (non-convex) losses hence covering classical, yet poorly understood examples such as the perceptron and non-convex robust regression. We use the Kac-Rice formula to control the asymptotics of the expected number of local minima of the empirical risk, under the proportional asymptotics $n,d o\infty$, $n/d oα>1$. Specifically, we prove a finite dimensional variational formula for the exponential growth rate of the expected number of local minima. Further we provide sufficient conditions under which the exponential growth rate vanishes and all empirical risk minimizers have the same asymptotic properties (in fact, we expect the minimizer to be unique in these circumstances). We refer to this phenomenon as `rate trivialization.' If the population risk has a unique minimizer, our sufficient condition for rate trivialization is typically verified when the samples/parameters ratio $α$ is larger than a suitable constant $α_{\star}$. Previous general results of this type required $n\ge Cd \log d$. We illustrate our results in the case of non-convex robust regression. Based on heuristic arguments and numerical simulations, we present a conjecture for the exact location of the trivialization phase transition $α_{ ext{tr}}$.

연구 동기 및 목표

• n과 d가 비례적으로 증가하는 고차원에서 비볼록 로스로 모델을 학습하는 것을 동기 부여하고 연구한다.
• Kac-Rice 기법을 사용하여 경험 리스크의 로컬 미니마스 풍경을 특성화한다.
• 로컬 미니마의 지수 증가율에 대한 유한 차원 변분형 공식을 도출한다.
• 모든 최소값이 점근적 특성을 공유하는 rate trivialization의 충분조건을 제공한다.
• 비볼록 M-estimation 및 Tukey 로스가 있는 강건 회귀에 프레임워크를 특수화한다.
• 이론적 예측을 수치 시뮬레이션으로 보여주고 trivialization 전이점을 추정한다.

제안 방법

• n/d→∞일 때 n/d→α>1로 수렴하고 로컬 미니마의 기대 개수의 점근적 거동을 제어하기 위해 Kac-Rice 공식을 사용한다.
• 경험 분포와 로컬 미니마의 증가를 설명하기 위한 레이트 함수 Φ(μ,ν)를 정의한다(Eq. 3–5).
• 최대최소형 변분 원리를 얻고 제약이 선형일 때 이를 유한 차원 형태로 축소한다(정리 1).
• 안정성/복제자(replication) 유형 조건과 명시적 α⋆ 임계값을 통한 rate trivialization의 충분조건을 도출한다(정리 2).
• 일반 결과를 비볼록 M-estimation에 특수화하고 특히 Tukey 로스가 있는 강건 회귀에 적용한다(정리 3).
• 비볼록 로스의 근접 연산자(proximal operators)를 정지 조건과 스펙트럴 안정성과 연결한다(Eqs. 33–37).

실험 결과

연구 질문

• RQ1 비례적 고차원 스케일링에서 경험 리스크의 로컬 미니마 기대 개수의 지수 증가율은 무엇인가?
• RQ2 rate trivialization은 어떤 조건에서 발생하는가, 즉 모든 로컬 미니마가 동일한 점근적 특성을 공유하고 최소화자가 사실상 고유한가?
• RQ3 일반적인 Kac-Rice 프레임워크를 실제로 어떻게 유한 차원 특성으로 축소할 수 있는가?
• RQ4 합성 α가 큰 경우 Tukey 로버스트 회귀를 포함한 비볼록 M-estimation 문제의 지형(topology)은 어떻게 거동하는가?
• RQ5 이론적 예측을 수치 시뮬레이션으로 검증할 수 있으며 중간 규모의 n,d에서 얼마나 정확한가?

주요 결과

• 로컬 미니마의 기대 개수의 지수 증가율에 대한 유한 차원 변분식이 도출된다(정리 1).
• rate trivialization을 위한 충분조건이 제시되며, α⋆ 임계값 이상에서 Φ⋆(μ,ν)가 유일한 최적점에서 최소화되어 명확한 풍경 특성화를 시사한다(정리 2).
• 결과는 비볼록 M-estimation에 특수화되며 Tukey 로스가 있는 강건 회귀에 대해 수치 실험과 일치하는 정확한 예측을 제공한다.
• 수치 실험은 trivialization 임계값 αtr 근처에서 경사 하강 역학의 상전이를 보여주며 α>αtr일 때 단일 최소값으로 수렴하고 α<αtr일 때는 여러 결과를 보인다.
• 근접 연산자(proximal-operator) 기반 표현(Eq. 33)은 국부 최적조건을 정지점 및 스펙트럴 안정성과 연결하며 이는 스핀 유리 이론의 replicon 조건(Eq. 38)과 유사하다.