[論文レビュー] Parametrized Accelerated Methods Free of Condition Number

Chaoyue Liu, Mikhail A. Belkin|arXiv (Cornell University)|Feb 28, 2018

Matrix Theory and Algorithms参考文献 15被引用数 4

ひとこと要約

本稿では、条件数が未知、誤推定、あるいは非有界であっても指数的収束を維持するパラメータ化された加速勾配法を提案する。条件数を自由パラメータとして扱うことで、ネステロフのAGD、チェビシェフ半反復法、SOR法について、スペクトルレベルの明示的収束レートを導出し、強い凸でない状況でも標準勾配降下法よりも速く収束し、条件数の正確さにかかわらずすべての固有値において指数的収束を維持することを証明する。

ABSTRACT

Analyses of accelerated (momentum-based) gradient descent usually assume bounded condition number to obtain exponential convergence rates. However, in many real problems, e.g., kernel methods or deep neural networks, the condition number, even locally, can be unbounded, unknown or mis-estimated. This poses problems in both implementing and analyzing accelerated algorithms. In this paper, we address this issue by proposing parametrized accelerated methods by considering the condition number as a free parameter. We provide spectral-level analysis for several important accelerated algorithms, obtain explicit expressions and improve worst case convergence rates. Moreover, we show that those algorithm converge exponentially even when the condition number is unknown or mis-estimated.

研究の動機と目的

• 条件数が未知、巨大、あるいは非有界である場合に、モーメンタムベースの手法の不安定性と収束の悪さを是正すること。
• 事前に条件数を知る必要のないパラメータ化された加速アルゴリズムの開発。
• ネステロフのAGDやSORを含む主要な加速手法について、明示的なスペクトルレベルの収束レート式の提供。
• 強い凸および強い凸でない両状況において、これらの手法の指数的収束の証明。
• 条件数の情報がない状況での、手法およびパrameter選択の性能比較。

提案手法

• 条件数 ρ を必須入力ではなく自由パラメータとして扱うことで、加速手法をパラメータ化する。
• スペクトル解析を用いて、固有値 μ ∈ [0,1] の関数として収束レートの明示的多項式表現を導出する。
• 加速クラス全体における最悪ケース収束レートを定量化するための「チェビシェフ数」を定義・計算する。
• 固有値 μ ≤ ρ（強い凸）および μ > ρ（強い凸でない）の両状況における収束挙動を分析する。
• スペクトルレベルの多項式 Pk*(μ), Rk(μ), Nk(μ) を用いて、ネステロフのAGD、チェビシェフ、SOR法の収束レートを比較する。
• μ > ρ、すなわち強い凸でない状況においても、各固有値について指数的収束が成立することを証明する。

実験結果

リサーチクエスチョン

• RQ1 条件数が未知または誤推定されている場合でも、加速勾配法が指数的収束を維持できるか？
• RQ2 ネステロフのAGD、チェビシェフ、SOR法の明示的スペクトルレベル収束レートは何か？
• RQ3 強い凸でない状況において、これらの加速手法の収束レートはどのように比較できるか？
• RQ4 加速パrameter ρ の選択が収束速度に影響を与えるか、その影響はどのようなものか？
• RQ5 パラメータ化された加速手法は、強い凸でない設定において、標準勾配降下法よりも一様に速く収束できるか？

主な発見

• ネステロフのAGD、チェビシェフ、SORの3つの加速手法すべてが、条件数が未知または誤推定であっても、すべての固有値について指数的収束を示す。
• 強い凸でない状況（μ ∈ (ρ,1)）において、すべての加速手法が標準勾配降下法（パワー法）よりも速く収束し、ネステロフのAGDとSORはパワー法を上回る。
• 加速クラスの中で、チェビシェフ半反復法が最悪ケース収束レートが最も速く、ネステロフのAGDが最も遅い。
• 加速パrameter ρ の値が小さいほど、チェビシェフ数が小さくなり、強い凸状況では収束が速くなるが、強い凸でない状況では遅くなる。
• 収束レートはヘッセ行列の固有値分布に依存し、小さな固有値（大きなヘッセ行列固有値）は速く収束する。
• パラメータ化された手法は、ヘッセ行列の固有値が区間 [0,ρ] の外側に存在する場合、すなわち強い凸でない状況においても、有効かつ収束性を保つ。