[論文レビュー] On the Rate of Convergence of GD in Non-linear Neural Networks: An Adversarial Robustness Perspective

Guy Smorodinsky, Sveta Gimpleson+1 more|arXiv (Cornell University)|Mar 2, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、最小限の2ニューロン ReLU ネットワークにおける勾配降下法が対抗的に堅牢なマージンへ収束することを示すが、収束速度は Θ(1/ln t) の有界で極めて遅く、マージン最適化を実現する勾配流（GF）とは異なる、ということを示している。

ABSTRACT

We study the convergence dynamics of Gradient Descent (GD) in a minimal binary classification setting, consisting of a two-neuron ReLU network and two training instances. We prove that even under these strong simplifying assumptions, while GD successfully converges to an optimal robustness margin, effectively maximizing the distance between the decision boundary and the training points, this convergence occurs at a prohibitively slow rate, scaling strictly as $Θ(1/\ln(t))$. To the best of our knowledge, this establishes the first explicit lower bound on the convergence rate of the robustness margin in a non-linear model. Through empirical simulations, we further demonstrate that this inherent failure mode is pervasive, exhibiting the exact same tight convergence rate across multiple natural network initializations. Our theoretical guarantees are derived via a rigorous analysis of the GD trajectories across the distinct activation patterns of the model. Specifically, we develop tight control over the system's dynamics to bound the trajectory of the decision boundary, overcoming the primary technical challenge introduced by the non-linear nature of the architecture.

研究の動機と目的

• ニューラルネットワークにおける最適化ダイナミクスが対戦型堅牢性に与える影響を理解する動機づけ。
• 最小の非線形モデルに対する勾配降下法（GD）と堅牢性マージンの収束挙動を研究する。
• GDが堅牢マージンへ近づく速さを特徴づけ、GFと比較する。
• 初期化や設定を越えて遅い収束が持続するとの経験的証拠を提供する。

提案手法

• 出力重みを固定した深さ2・幅2のReLUネットワークを解析し、隠れ層パラメータを訓練する。
• 経験的リスクを定義するために指数損失を用い、GFとGDのダイナミクスを研究する。
• 訓練が進むにつれて活性化パターンとニューロンの専門化を特徴づける。
• 専門化の下で明示的更新ルールを導出し、平衡と堅牢マージンへのバイアスを明らかにする。
• GDの最適堅牢マージンへの収束速度をΘ(1/ln t)として証明する。
• 初期化の違いによらず遅い収束が生じることを実験で補完する。

実験結果

リサーチクエスチョン

• RQ1 2ニューロン ReLUモデルのような非線形ネットワークでGDは最大マージン堅牢解へ収束するか。
• RQ2 GDが堅牢マージンへ到達する有限時間の収束速度はどの程度か、GFや潜在的な加速法とどう比較されるか。
• RQ3 活性化パターンとニューロンの専門化は観測された収束のボトルネックを決定するか。
• RQ4 一般的な初期化と訓練レジームの下で遅い収束は観測されるか。

主な発見

• GFはこの最小設定で堅牢マージンを最大化するKKT点の方向へ収束する。
• GDも同じ堅牢マージンへ収束するが、速さはΘ(1/ln t)であり、実用的な収束は極めて遅い。
• 堅牢マージンを決定する交点 x⋆(t) は x⋆(t) = (b2−b1)/(w1−w2) であり、分母は Θ(ln t) に成長する。
• ほぼすべての初期化の下で、マージン欠損 γ⋆−γ(θ(t)) は Θ(1/ln t) の速度で減衰し、非線形モデルにおける堅牢マージンの最初の明示的な遅い下界を確立する。
• 非漸近的解析は、標準的な He 初期化を用いると、マージンが初めに低下し、対数的に遅いペースで回復することを示し、高い堅牢性を達成するには実用的でないことを意味する。
• 10,000 回の試行を用いた実験では、多くの実行が遅い領域に囚われ、成功した実行でも理論と一致する遅いマージン収束が観測された。