[論文レビュー] Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees

Nachuan Xiao, Xiaoyin Hu+2 more|arXiv (Cornell University)|May 6, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

本稿は、滑らかでない非凸最適化において、滑らかでない活性化関数（ReLUなど）を用いたニューラルネットワークの学習に適した、Adamファミリー手法のための新規な二時刻スケールフレームワークを提案する。滑らかでない非凸最適化問題において、弱い仮定のもとでClarke停留点への収束を保証する。勾配クリッピングと適応的ステップサイズを組み合わせることで、可積分（重たい尾をもつ）ノイズが存在する場合でも収束を保証し、滑らかでないニューラルネットワークの学習におけるAdamファミリー手法に対する理論的保証を初めて得た。

ABSTRACT

In this paper, we present a comprehensive study on the convergence properties of Adam-family methods for nonsmooth optimization, especially in the training of nonsmooth neural networks. We introduce a novel two-timescale framework that adopts a two-timescale updating scheme, and prove its convergence properties under mild assumptions. Our proposed framework encompasses various popular Adam-family methods, providing convergence guarantees for these methods in training nonsmooth neural networks. Furthermore, we develop stochastic subgradient methods that incorporate gradient clipping techniques for training nonsmooth neural networks with heavy-tailed noise. Through our framework, we show that our proposed methods converge even when the evaluation noises are only assumed to be integrable. Extensive numerical experiments demonstrate the high efficiency and robustness of our proposed methods.

研究の動機と目的

• ReLUやその他の微分不能な活性化関数を用いた滑らかでないニューラルネットワークの学習において、Adamファミリー手法に理論的収束保証が欠如している問題を解決すること。
• 深層学習で一般的な、Clarke正則でない滑らかでない関数における確率的部分勾配の解析の課題を克服すること。
• 可積分（重たい尾をもつ）評価ノイズを含む最小限の仮定のもとでの収束解析を提供すること。これは現実応用で一般的に見られる。
• 人気のあるAdam変種（Adam、AdaBelief、AMSGrad、NAdam、Yogi）を包含する統一フレームワークを構築し、滑らかでない設定へと拡張すること。
• 弱いノイズ仮定の下で、勾配クリッピングの理論的根拠を確立し、スティリスティック部分勾配法におけるロバスト性と収束性を保証すること。

提案手法

• 変数の更新とノイズ推定を分離する二時刻スケールフレームワーク（AFM）を提案し、それぞれに異なるステップサイズを用いる。
• 保守的場とClarke部分微分の意味での収束を定義することで、微分不能で局所リプシッツ連続な関数の解析を可能にする。
• 弱い仮定のもとで、AFMが生成する反復点の任意の集積点が、目的関数のClarke停留点であることを証明する。
• ステップサイズを減少させる場合に、Adam、AdaBelief、AMSGrad、NAdam、YogiがすべてAFMフレームワークに適合することを示し、その収束保証を継承することを示す。
• 可積分（二乗可summableでない）ノイズに対処するため、確率的部分勾配法に勾配クリッピング技術を導入し、弱いモーメント条件のもとで収束を保証する。
• AFMフレームワークに埋め込むことで、ノイズが重たい尾をもつ場合でも、クリッピングされた確率的部分勾配法の理論的収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ReLUベースのニューラルネットワークの学習に応用された場合、Adamファミリー手法が滑らかでない非凸最適化問題において理論的に収束保証を満たすことができるか？
• RQ2 目的関数が微分不能でClarke正則でもない場合に、既存のAdamファミリー手法の収束結果が拡張可能か？
• RQ3 評価ノイズが二乗可summableではなく、可積分（重たい尾をもつ）である場合に、確率的部分勾配法における勾配クリッピングを理論的に正当化できるか？
• RQ4 複数のAdamファミリー手法の挙動を統一的に捉え、滑らかでない設定でも収束を保証するフレームワークを設計可能か？
• RQ5 提案されたフレームワークは、滑らかでないニューラルネットワークにおける自動微分によって生じる誤った停留点を、ほとんどすべての初期化条件下で回避できるか？

主な発見

• 提案された二時刻スケールフレームワーク（AFM）は、弱い仮定のもとで、滑らかでない局所リプシッツ連続な非凸関数に対してClarke停留点への収束を保証する。
• Adam、AdaBelief、AMSGrad、NAdam、Yogiがステップサイズを減少させる場合、すべてAFMフレームワークに適合することが示され、滑らかでない設定でも収束保証を継承する。
• 目的関数がグローバルにリプシッツ連続でないかClarke正則でない場合でも、フレームワークはほとんど確実に停留点への収束を保証する。
• AFMフレームワークの下で、勾配クリッピング技術は確実に正当化され、評価ノイズが可積分である場合でも収束を保証する。
• 数値実験により、提案されたAdamファミリー手法がPyTorchなどの標準実装と同等の効率性を示す一方で、理論的収束保証を維持することが確認された。
• フレームワークは、ほとんどすべての初期点とステップサイズの選択において、自動微分によって生じる誤った停留点を回避でき、実用的信頼性を向上させる。