[논문 리뷰] On the Rate of Convergence of GD in Non-linear Neural Networks: An Adversarial Robustness Perspective

Guy Smorodinsky, Sveta Gimpleson외 1명|arXiv (Cornell University)|2026. 03. 02.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 최소한의 두 뉴런 ReLU 네트워크에서 경사 하강법이 적대적으로 강건한 여유(margin)로 수렴하는 것을 보이지만, Θ(1/ln t)로 지나치게 느린 속도이며, 반면 그래디언트 플로우는 극한에서 여유 최적화를 달성한다.

ABSTRACT

We study the convergence dynamics of Gradient Descent (GD) in a minimal binary classification setting, consisting of a two-neuron ReLU network and two training instances. We prove that even under these strong simplifying assumptions, while GD successfully converges to an optimal robustness margin, effectively maximizing the distance between the decision boundary and the training points, this convergence occurs at a prohibitively slow rate, scaling strictly as $Θ(1/\ln(t))$. To the best of our knowledge, this establishes the first explicit lower bound on the convergence rate of the robustness margin in a non-linear model. Through empirical simulations, we further demonstrate that this inherent failure mode is pervasive, exhibiting the exact same tight convergence rate across multiple natural network initializations. Our theoretical guarantees are derived via a rigorous analysis of the GD trajectories across the distinct activation patterns of the model. Specifically, we develop tight control over the system's dynamics to bound the trajectory of the decision boundary, overcoming the primary technical challenge introduced by the non-linear nature of the architecture.

연구 동기 및 목표

• 최적화 동역학이 신경망의 적대적 강건성에 미치는 영향을 이해하기 위한 동기를 제공합니다.
• 최소한의 비선형 모델에서 경사 하강법(GD)의 수렴 동학을 강건한 여유에 대해 연구합니다.
• GD가 강건한 여유에 접근하는 속도를 특징짓고 이를 그래디언트 플로우(GF)와 비교합니다.
• 초기화 및 설정에 걸쳐 느린 수렴이 지속된다는 실험적 증거를 제공합니다.

제안 방법

• 고정된 출력 가중치를 가진 깊이-2, 너비-2 ReLU 네트워크를 분석하고 은닉층 매개변수를 학습합니다.
• 지수 손실을 사용하여 경험적 위험을 정의하고 GF와 GD 동역학을 연구합니다.
• 학습이 진행됨에 따라 활성화 패턴과 뉴런 특화화를 특징지습니다.
• 특화하에서 균형점과 강건한 여유를 향한 편향을 드러내기 위해 명시적 업데이트 규칙을 도출합니다.
• GD 하에서 최적의 강건한 여유에 대한 수렴 속도 Θ(1/ln t)를 보인다.
• 초기화에 따른 느린 수렴을 보이는 실험으로 이론을 보완합니다.

실험 결과

연구 질문

• RQ1 경사 하강법이 두 뉴런 ReLU 모델과 같은 비선형 네트워크에서 최대 여유 강건 솔루션으로 수렴하는가?
• RQ2 GD의 강건한 여유에 대한 유한 시간 수렴 속도는 어느 정도이며, GF 및 잠재적 가속 방법과는 어떻게 비교되는가?
• RQ3 활성화 패턴과 뉴런 특화가 관찰된 수렴 병목을 결정하는가?
• RQ4 일반적인 초기화 및 학습 체계에서 강건한 여유로의 느린 수렴이 관찰되는가?

주요 결과

• GF는 이 최소 설정에서 강건한 여유를 최대화하는 KKT 점으로 방향성 수렴합니다.
• GD 역시 동일한 강건한 여유로 수렴하지만 속도는 Θ(1/ln t)로, 실용적 수렴은 지나치게 느립니다.
• 강건한 여유를 결정하는 교차점 x⋆(t)는 x⋆(t) = (b2−b1)/(w1−w2)이고 분모는 Θ(ln t)로 증가합니다.
• 초기화의 거의 모든 경우에서 여유 격차 γ⋆−γ(θ(t))가 Θ(1/ln t) 속도로 감소하여 비선형 모델에서 강건성 여유에 대한 최초의 명시적 느린 하한을 확립합니다.
• 비정상적 분석은 표준 He 초기화에서 여유가 초기에는 악화되고 로그 속도로만 복구된다는 것을 보여주며, 높은 강건성을 달성하기 위한 실용적 비효율성을 시사합니다.
• 10,000회의 실험은 많은 실행이 느린 구간에 갇히는 경향이 있고, 성공적인 실행도 이론과 일치하는 느린 여유 수렴을 보인다는 것을 시사합니다.