[論文レビュー] Aggregated Momentum: Stability Through Passive Damping

James Lucas, Shengyang Sun+2 more|arXiv (Cornell University)|Apr 1, 2018

Stochastic Gradient Optimization Techniques参考文献 35被引用数 7

ひとこと要約

集約運動量（AggMo）は、異なる減衰係数（$\beta$）を持つ複数の運動量ベクトルを組み合わせることで最適化の安定性を向上させ、被動的減衰によって大規模な $\beta$ 値（例：0.999）でも高速収束を実現する。実際の性能では、古典的およびネステロフの運動量を上回り、ハイパーパrameterの調整を最小限に抑えながら高速な収束を達成する。

ABSTRACT

Momentum is a simple and widely used trick which allows gradient-based optimizers to pick up speed along low curvature directions. Its performance depends crucially on a damping coefficient $β$. Large $β$ values can potentially deliver much larger speedups, but are prone to oscillations and instability; hence one typically resorts to small values such as 0.5 or 0.9. We propose Aggregated Momentum (AggMo), a variant of momentum which combines multiple velocity vectors with different $β$ parameters. AggMo is trivial to implement, but significantly dampens oscillations, enabling it to remain stable even for aggressive $β$ values such as 0.999. We reinterpret Nesterov's accelerated gradient descent as a special case of AggMo and analyze rates of convergence for quadratic objectives. Empirically, we find that AggMo is a suitable drop-in replacement for other momentum methods, and frequently delivers faster convergence.

研究の動機と目的

• 高減衰係数の運動量法（$\beta \approx 1$）がもつれを起こす問題を解消すること。
• 低曲率方向での高い最終速度を維持しつつ安定性を損なわずに、より速い収束を実現すること。
• 古典的およびネステロフの運動量の単純な代替手段を提供し、ハイパーパrameter選択に対するロバスト性を向上させること。
• 物理学的インスピレーションに基づき、複数の周波数を持つ速度の統合によって共鳴を防ぐ、被動的減衰機構としてAggMoを形式化すること。

提案手法

• AggMoは、それぞれが異なる減衰係数 $\beta_i$ を持つ複数の速度ベクトルを維持し、それらを平均化してパラメータ更新に用いる。
• 更新則は $M$ 個の速度ベクトルを組み合わせる：$\mathbf{v}_t^{(i)} = \beta_i \mathbf{v}_{t-1}^{(i)} - \nabla_\theta f(\boldsymbol{\theta}_{t-1})$ であり、その後 $\boldsymbol{\theta}_t = \boldsymbol{\theta}_{t-1} + \gamma_t \cdot \frac{1}{M} \sum_{i=1}^M \mathbf{v}_t^{(i)}$ となる。
• この手法は、構造工学における被動的減衰にインスピレーションを得ており、異なる共振周波数を持つ複数の材料が、壊滅的な振動を防ぐ。
• 適切に $\beta_i$ 値を選べば、AggMoはネステロフの加速勾配を特別なケースとして含むことが示された。
• 連続的アナログであるベータ平均運動量（Beta-Averaged Momentum）は、$\beta$ 値のベータ分布にわたる積分を用い、理論的分析のための閉形式のモーメント計算を可能にする。
• この手法は、深層オートエンコーダ、CNN、LSTMの実験を通じて、デフォルト設定およびチューニング済み設定下での収束速度と一般化性能について評価された。

実験結果

リサーチクエスチョン

• RQ1 異なる減衰係数を持つ複数の運動量ベクトルを組み合わせることで、高 $\beta$ 値における最適化の安定性を向上させることができるか？
• RQ2 収束速度およびハイパーパrameter選択に対するロバスト性の観点から、AggMoは古典的およびネステロフの運動量と比べてどのように異なるか？
• RQ3 AggMoは、複数の共振周波数を持つ物理的系に類似した被動的減衰の一種と解釈できるか？
• RQ4 オンライン凸プログラミングの設定において、AggMoは理論的収束保証を達成するか？
• RQ5 例えばベータ平均運動量のようなAggMoの連続的定式化は、閉形式の更新ルールと安定した最適化軌道を提供できるか？

主な発見

• AggMoは、$\beta = 0.999$ のような高 $\beta$ 値を用いる場合、低曲率方向での安定した高速度蓄積のおかげで、古典的およびネステロフの運動量よりも著しく高速な収束を達成する。
• MNISTオートエンコーダの実験では、デフォルト設定のAggMoがテスト損失3.04を達成し、最適設定下のネステロフ（4.62）および古典的運動量（4.98）を上回った。
• AggMoのデフォルトハイパーパramータは、CMおよびネステロフのデフォルトを上回り、チューニングへの感受性が低いことが示された。訓練損失は1.60であり、それぞれ1.94および2.07であった。
• LSTMの実験では、デフォルト設定のAggMoが、両方のCMおよびネステロフ（$\beta = 0.99$ を使用）よりも、バリデーションおよびテストのパープレキシティが優れていた。
• 理論的分析により、AggMoはオンライン凸プログラミング設定で平均レジーダルが収束することを示し、安定性および収束特性を裏付けた。
• ベータ平均運動量（Beta-Averaged Momentum）は、AggMoの連続的拡張であり、離散的AggMoと類似した最適化軌道を生成し、ベータ分布のモーメントを用いて閉形式のモーメント計算を可能にした。