[論文レビュー] Adaptive Optimization via Momentum on Variance-Normalized Gradients

Francisco Patitucci, Aryan Mokhtari|arXiv (Cornell University)|Feb 10, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

MVN-Gradは外部正規化後のモーメントを用いて分散ベースの正規化を行うAdam系オプティマイザで、古いモーメントと正規化子をデカップリングし、安定した更新と視覚・言語ベンチマーク全体での性能向上を実現します。

ABSTRACT

We introduce MVN-Grad (Momentum on Variance-Normalized Gradients), an Adam-style optimizer that improves stability and performance by combining two complementary ideas: variance-based normalization and momentum applied after normalization. MVN-Grad scales each coordinate by an exponential moving average of gradient uncertainty and applies momentum to the resulting normalized gradients, eliminating the cross-time coupling between stale momentum and a stochastic normalizer present in standard Adam-type updates. We prove that this decoupling yields strictly smaller one-step conditional update variance than momentum-then-normalize variance methods under standard noise assumptions, and that MVN-Grad is robust to outliers: it has a uniformly bounded response to single gradient spikes. In low-variance regimes, we further show variance normalization avoids sign-type collapse associated with second-moment scaling and can yield accelerated convergence. Across CIFAR-100 image classification and GPT-style language modeling benchmarks, MVN-Grad matches or outperforms Adam, AdaBelief, and LaProp, delivering smoother training and improved generalization with no added overhead.

研究の動機と目的

• Adam系オプティマイザの確率的トレーニングにおける不安定性と一般化限界を動機づけて対処する。
• モーメントを正規化子からデカップリングするオプティマイザを開発して時間をまたぐ結合を低減する。
• ノンセンタード二次モーメントを分散ベースの正規化子に置換して低ノイズ領域で勾配の大きさを保つ。
• 理論的な安定性、外れ値への頑健性、改良された収束挙動を示す。
• 画像分類と言語モデリングの標準ベースラインに対してMVN-Gradを経験的に検証する。

提案手法

• 分散代理s_t = EMA of (g_t - m_t)^2 を用いて勾配を正規化するMVN-Gradを提案する。ここで m_t は勾配のEMA。
• 正規化勾配 z_t = g_t / (sqrt(s_t / c_v) + epsilon) に対してモーメントを適用し、未正規化勾配に対して適用しない。
• 正規化方向のバイアス補正モーメント u_t を用い、パラメータを x_t = x_{t-1} - eta * u_t / c_m で更新する。
• 標準ノイズ仮定の下で AdaBelief と比較して1ステップの条件付き更新分散を低減する理論結果を提供する。
• 勾配のスパイクに対する一様な頑健性を証明し、低分散領域での符号崩壊の低減を議論する。
• 正規化子の選択（v_t 対 s_t）と動作順序（事前正規化 vs 事後正規化）の2×2設計空間にMVN-Gradを位置づける。

実験結果

リサーチクエスチョン

• RQ1 分散ベースの正規化を用いた正規化後モーメントは、典型的な勾配ノイズの下で正規化前モーメントより1ステップ更新の分散を strictly 小さくするか？
• RQ2 MVN-GradはAdam ファミリーの手法と比較して外れ値と勾配スパイクに頑健か？
• RQ3 低分散トレーニング領域で分散正規化は勾配の大きさを保持し符号崩壊を避けるか？
• RQ4 MVN-Gradの理論的優位性は標準的な視覚と言語モデリングベンチマークで実践的な向上につながるか？
• RQ5 CIFAR-100およびGPT風言語モデリングタスクで MVN-Grad は Adam、AdaBelief、LaProp と比較して経験的にどうか？

主な発見

Optimizer	Test Accuracy (CIFAR-100, batch 128)	Train Accuracy (CIFAR-100, batch 128)	Test Accuracy (CIFAR-100, batch 1024)	Train Accuracy (CIFAR-100, batch 1024)
Adam	77.82%	75.65%	78.26%	83.15%
LaProp	77.72%	75.59%	78.40%	83.05%
AdaBelief	79.93%	81.22%	79.34%	85.89%
MVN-Grad	79.94%	81.26%	79.63%	85.89%

• MVN-Gradは前述の仮定の下で AdaBelief より厳密に小さい1ステップ条件付き更新分散を達成する。
• 大きな勾配スパイクの存在下でも更新を一様に境界付きに保ち、スパイク耐性を示す。
• 低分散領域では分散ベース正規化が符号型崩壊を回避し勾配大きさ情報を保持して収束を早める。
• 実証的に、CIFAR-100のResNet-18でAdam、AdaBelief、LaPropと同等以上、または上回り、トレーニングを滑らかにし一般化が良好なGPT風言語モデリングベンチマークでMVN-Gradが優位に立つ。
• CIFAR-100 batch128 では MVN-Grad が 79.94% のテスト精度と 81.26% の訓練精度を達成し AdaBelief に匹敵; batch1024 では 79.63% のテスト精度と 85.89% の訓練精度となり AdaBelief をわずかに上回る。
• 言語モデリング実験では WikiText-103 で最良の平均検証 perplexity をMVN-Gradが示し、OpenWebText 比較で堅牢な性能を示す。