[論文レビュー] On Acceleration with Noise-Corrupted Gradients

Michael B. Cohen, Jelena Diakonikolas+1 more|arXiv (Cornell University)|May 31, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、NesterovのAGDを一般化し、勾配ノイズに強い安定性を向上させた、新しい高速化1次順序最適化アルゴリズムであるagd$^+$を提案する。ノイズ付きオракル下での加速に関する理論的分析を行い、先行手法と比較して誤差の平均と分散を低減することを示した。数値実験により、再起動およびスローダウンのヒューリスティクスを組み合わせた場合に、特に高ノイズ環境下でも安定性が向上することが確認された。

ABSTRACT

Accelerated algorithms have broad applications in large-scale optimization, due to their generality and fast convergence. However, their stability in the practical setting of noise-corrupted gradient oracles is not well-understood. This paper provides two main technical contributions: (i) a new accelerated method AGDP that generalizes Nesterov's AGD and improves on the recent method AXGD (Diakonikolas & Orecchia, 2018), and (ii) a theoretical study of accelerated algorithms under noisy and inexact gradient oracles, which is supported by numerical experiments. This study leverages the simplicity of AGDP and its analysis to clarify the interaction between noise and acceleration and to suggest modifications to the algorithm that reduce the mean and variance of the error incurred due to the gradient noise.

研究の動機と目的

• 実用的な機械学習や最適化における一般的な問題である、ノイズ付き勾配オラクル下での高速化アルゴリズムの不安定性を解消すること。
• NesterovのAGDを一般化し、勾配ノイズに対する理論的および実験的耐性を向上させた新しい高速化手法agd$^+$を構築すること。
• ノイズと加速の相互作用を分析し、ノイズが高速化手法における収束と誤差蓄積に与える影響を明確にすること。
• ノイズレベルの事前知識が不要な再起動およびスローダウンのヒューリスティクスを提案し、高ノイズ環境下での誤差の平均と分散を低減すること。
• LASSOおよびロジスティック回帰を用いた実世界データを用いた数値実験により、理論的知見を検証すること。ノイズレベルを変化させた条件下で実施。

提案手法

• Diakonikolas & Orecchia (2017) の連続的ダイナミクスフレームワークに従い、agd$^+$を新たに導出。NesterovのAGDを一般化した高速化アルゴリズムとして提案。
• 異なるオラクルモデル下でのagd$^+$の分析：確定的摂動（d’Aspremont, 2008；Devolder et al., 2014）および確率的加法的ノイズ（Ghadimi & Lan, 2012, 2013）。
• 勾配ノイズが収束に与える影響を定量化する理論的誤差バインディングを導出。先行の高速化手法と比較して、より高い安定性を示す。
• 高ノイズ環境下での誤差分散低減を目的として、再起動およびスローダウンのヒューリスティクスを導入。ノイズ蓄積の解析的洞察に基づく。
• 連続時間動的システムの解釈を用いて、加速とノイズ耐性の分析を統一的かつ簡素化。
• L1制約付きLASSOおよびロジスティック回帰を用い、Epileptic Seizure Recognition Datasetを用いた数値実験により、手法を検証。ノイズレベルを制御して実施。

実験結果

リサーチクエスチョン

• RQ1 高速化アルゴリズムは、ノイズ付き勾配オラクル下でどのように性能が劣化するのか。誤差蓄積を引き起こすメカニズムは何か。
• RQ2 既存手法と比較して、高速収束を維持しながら勾配ノイズに対してより強い耐性を示す新しい高速化アルゴリズムを設計可能か。
• RQ3 高速化1次順序手法における勾配オラクルのノイズと収束誤差の理論的関係は何か。
• RQ4 再起動およびスローダウンのヒューリスティクスは、ノイズ分散の事前知識がなくても、高ノイズ環境下での誤差の平均と分散をどの程度低減できるか。
• RQ5 LASSOおよびロジスティック回帰の実験において、agd$^+$はAGD、axgd、および他の高速化手法と比較して、収束速度と安定性の面でどのように差をつけるか。

主な発見

• 低ノイズおよびノイズなし環境下では、agd$^+$は標準的なAGDよりも高速な収束を達成し、平均誤差の低減においてaxgdやagd$^+$を上回る。
• 高ノイズ環境下では、agd$^+$とaxgdは標準的なAGDが示す不安定性と高い分散と比較して、誤差の平均と分散が著しく低い。
• 再起動およびスローダウンのヒューリスティクスは、高ノイズ環境下での誤差分散を低減し、特にagd$^+$の安定性を向上させるが、平均誤差の改善には寄与しない。
• LASSOおよびロジスティック回帰における数値実験により、agd$^+$は繰り返し実行において優れた安定性を維持することが確認された。特に高ノイズ環境下で顕著であった。
• 理論的分析により、agd$^+$の確率的ノイズ下での誤差バインディングは、先行の高速化手法よりもタイトであることが示された。特に強凸ケースにおいて顕著であった。
• 本研究では、ノイズ耐性が加速そのものに内在するものではないこと、アルゴリズム的改良（例：集約勾配情報の利用）により安定性を顕著に向上させられることを示した。