[論文レビュー] Randomized Block Cubic Newton Method

Nikita Doikov, Peter Richtárik|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用数 3

ひとこと要約

本稿では、滑らかで、2回微分可能で、滑らかでない項からなる合成凸関数を最小化するための、新たな2次最適化アルゴリズムであるランダム化ブロックキュービックニュートン（RBCN）法を提案する。ブロック座標のランダム化とキュービック正則化、およびプロキシマルモデリングを組み合わせることで、RBCNは最適な収束速度——$\mathcal{O}(1/\epsilon)$、$\mathcal{O}(1/\sqrt{\epsilon})$、$\mathcal{O}(\log(1/\epsilon))$——を達成し、正則化最小二乗法、ロジスティック回帰、ポisson回帰を含む機械学習問題において、最先端の手法を上回る性能を示す。

ABSTRACT

We study the problem of minimizing the sum of three convex functions: a differentiable, twice-differentiable and a non-smooth term in a high dimensional setting. To this effect we propose and analyze a randomized block cubic Newton (RBCN) method, which in each iteration builds a model of the objective function formed as the sum of the natural models of its three components: a linear model with a quadratic regularizer for the differentiable term, a quadratic model with a cubic regularizer for the twice differentiable term, and perfect (proximal) model for the nonsmooth term. Our method in each iteration minimizes the model over a random subset of blocks of the search variable. RBCN is the first algorithm with these properties, generalizing several existing methods, matching the best known bounds in all special cases. We establish ${\cal O}(1/ε)$, ${\cal O}(1/\sqrtε)$ and ${\cal O}(\log (1/ε))$ rates under different assumptions on the component functions. Lastly, we show numerically that our method outperforms the state-of-the-art on a variety of machine learning problems, including cubically regularized least-squares, logistic regression with constraints, and Poisson regression.

研究の動機と目的

• 滑らかで、2回微分可能で、滑らかでない成分を有する、異なる滑らかさ特性を有する合成凸問題を効率的に処理できる2次最適化手法の開発。
• ブロック座標のランダム化とキュービック正則化、およびプロキシマルモデリングを統合し、計算コストを低減しながらもグローバル収束の保証を維持する。
• キュービックニュートン法、確率的ニュートン法、およびプロキシマル勾配法といった既存手法を統一的な枠組みに一般化し、収束速度を向上させる。
• 成分関数の滑らかさに関する異なる仮定の下で、理論的収束速度を確立する。
• 実験的に、RBCNが多様な機械学習タスクにおいて、総計算時間の観点から最先端のアルゴリズムを上回ることを示す。

提案手法

• RBCNは、目的関数のモデルを3つの異なる近似法で構築する：滑らか項 $g(x)$ に対しては二次的正則化を伴う線形モデル、2回微分可能な項 $\phi(x)$ に対してはキュービック正則化を伴う二次モデル、滑らかでない項 $\psi(x)$ に対しては完全（プロキシマル）モデル。
• 各反復で、変数 $x$ のランダムに選択されたブロック部分集合上でこの合成モデルを最小化し、ブロック構造を活用して1反復あたりのコストを削減する。
• 高次元設定で $n$ が大きい場合のスケーラビリティを実現するため、具体的には $\tau$-ネイティブサンプリングを用いたランダムブロックサンプリング戦略を採用する。
• 2回微分可能な項 $\phi_i(x_{(i)})$ に対しては、曲率を捉えるためにキューブィック正則化を伴う2次モデルを用いることで、二次モデルに比べて収束を改善する。
• ヘッセ行列のリプシッツ定数（$H_k$）を用いてグローバル収束と安定性を保証し、$H_k$ は選択されたブロックにおける $c_i$ の最大値として選定する。
• このアルゴリズムは $\psi_i(x_{(i)})$ に対してプロキシマルであるように設計されており、近似を一切行わず、正確な項を最小化することで収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 キュービック正則化とプロキシマルモデリングを組み合わせたランダム化ブロック手法を設計することで、合成凸問題に対して最適な収束速度を達成できるか？
• RQ2 ランダム化2次最適化手法において、ブロックサイズの選択が収束速度と計算コストに与える影響は何か？
• RQ3 提案手法がキュービックニュートン法や確率的ニュートン法といった既存手法を一般化でき、それらの収束速度を同等または上回るか？
• RQ4 成分関数の滑らかさに関する異なる仮定の下で、この手法の理論的収束速度は何か？
• RQ5 実世界の機械学習問題において、実験的にこの手法は最先端のアルゴリズムを上回るか？

主な発見

• RBCNは、成分関数の仮定に応じて $\mathcal{O}(1/\epsilon)$、$\mathcal{O}(1/\sqrt{\epsilon})$、$\mathcal{O}(\log(1/\epsilon))$ の収束速度を達成し、すべての特殊ケースで既知の最良の境界と一致する。
• 数値実験の結果、中程度のブロックサイズ（例：25〜50の座標）を用いることで、反復速度と1反復あたりのコストのバランスが取れ、総計算時間が最小化される。
• 合成的なキュービック正則化最小二乗問題において、RBCNは関数残差が $10^{-12}$ に達するまでの総時間を他の手法よりも効率よく達成する。
• $\ell_2$ 正則化付きロジスティック回帰において、RBCNはブロックサイズ25〜50で、ブロック座標勾配降下法や他の手法を上回る計算効率を示す。
• ポisson回帰タスクでは、RBCNは同じ精度に到達するまでにSDCA や SDNA よりも少ないデータアクセス回数を要し、優れた実験的効率を示す。
• RBCNはSDNAと同等の計算効率を維持しながらも、特に $m=1000$ から $m=319$ のサンプル数を有する合成的および実世界のデータセットにおいて、より速い収束を達成する。