[論文レビュー] On the asymptotic rate of convergence of Stochastic Newton algorithms and their Weighted Averaged versions

Claire Boyer, Antoine Godichon‐Baggioni|arXiv (Cornell University)|Nov 19, 2020

Stochastic Gradient Optimization Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、リカッチの公式を用いた効率的なヘシアン逆行列更新により、2次情報を利用することで、オンライン最適化におけるスチュアティック・ニュートン法の新規クラスとその重み付き平均化バージョン（WASNA）を提案する。この手法は、O(1/n)収束率を達成し、漸近的に効率的であり、MNISTなどの実世界のデータセットを含む合成的および実世界のデータセットにおいて、初期化が不十分な場合を除き、1次手法よりも優れた性能を示す。

ABSTRACT

The majority of machine learning methods can be regarded as the minimization of an unavailable risk function. To optimize the latter, given samples provided in a streaming fashion, we define a general stochastic Newton algorithm and its weighted average version. In several use cases, both implementations will be shown not to require the inversion of a Hessian estimate at each iteration, but a direct update of the estimate of the inverse Hessian instead will be favored. This generalizes a trick introduced in [2] for the specific case of logistic regression, by directly updating the estimate of the inverse Hessian. Under mild assumptions such as local strong convexity at the optimum, we establish almost sure convergences and rates of convergence of the algorithms, as well as central limit theorems for the constructed parameter estimates. The unified framework considered in this paper covers the case of linear, logistic or softmax regressions to name a few. Numerical experiments on simulated data give the empirical evidence of the pertinence of the proposed methods, which outperform popular competitors particularly in case of bad initializa-tions.

研究の動機と目的

• オンライン学習設定におけるスチュアティック・ニュートン法およびその平均化バージョンの統一的フレームワークの構築を目的とする。
• リカッチの公式を用いてヘシアンの完全な逆行列を計算しないことで、1ステップあたりのコストを低減し、2次最適化を可能にする。
• やや弱い仮定の下で理論的収束速度および漸近的効率性を確立すること。
• SGD や Adagrad などの1次手法と比較して、初期化が不十分な場合でもロバストであることを向上させること。
• MNIST などの実世界のデータセットにおける性能を評価し、ハイパーパramータチューニングなしで実用的優位性を示すこと。

提案手法

• 期待リスク関数の最小化を目的とした、一般化されたスチュアティック・ニュートン法（SNA）およびその重み付き平均化バージョン（WASNA）のクラスを提案する。
• リカッチ（シェルマン＝モリソン）更新公式を用いて、ヘシアン逆行列を再帰的に推定することで、1ステップあたりのコストを O(d³) から O(d²) に削減する。
• 適応的ステップサイズ (n + c)⁻γ（γ ∈ (0.5, 1)）を用い、理論的収束性と安定性を保証する。
• 標準的および対数的重みを用いた非一様平均化スキームを適用し、実用的性能の向上と初期化への感受性の低減を図る。
• ヘシアン固有値の有界性および損失関数の滑らかさといったやや弱い仮定の下で、理論的収束速度を導出する。
• 論理的制約が最小限の条件下で、ロジスティック回帰、ソフトマックス回帰、線形モデルなどに適用可能な柔軟なフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 ヘシアンの各ステップでの逆行列計算を避けることで、オンライン設定における2次確率的最適化を計算的に実行可能にすることができるか？
• RQ2 やや弱い正則性条件の下で、平均化された確率的ニュートン法の漸近的収束速度は何か？
• RQ3 重み付き平均化スキーム（標準的 vs. 対数的）は、実用的性能および初期化への感受性にどのように影響するか？
• RQ4 提案手法は、初期化が不十分な場合を除き、SGD や Adagrad などの1次オンラインアルゴリズムよりも収束速度および精度で優れていると期待できるか？
• RQ5 リカッチに基づくヘシアン逆行列更新は、計算コストの低減を図りながらも、理論的保証をどれほど維持できるか？

主な発見

• 提案された WASNA アルゴリズムは、理論的効率性と一致する漸近的収束速度 O(1/n) を達成する。
• 相関のある特徴を有するロジスティック回帰における数値実験では、WASNA は SGD、ASGD、Adagrad と比較して顕著に優れた性能を示し、特に最適解から離れた初期化（例：r₀ = 5）において顕著である。
• MNIST データセットでは、デフォルトの WASNA 設定でソフトマックス回帰において 88% のテスト精度を達成し、ハイパーパramータチューニングなしで1次ベースラインと同等またはそれ以上の性能を示した。
• MNIST における混同行列の分析から、WASNA はわずかな誤分類を伴いながらも、予測が均等に分布しており、良好な一般化性能を示している。
• 実用的には、対数的重み付けが標準的平均化を常に上回り、より高い安定性と初期化への感受性の低減を実現している。
• リカッチに基づくヘシアン逆行列更新により、1ステップあたりの計算量が O(d²) に抑えられ、大規模問題における2次オンライン学習が現実可能となった。