[論文レビュー] Parallel Stochastic Newton Method

Mojmír Mutný, Peter Richtárik|Edinburgh Research Explorer|May 4, 2017

Stochastic Gradient Optimization Techniques参考文献 23被引用数 3

ひとこと要約

この論文は、滑らかで強く凸な関数を最小化するための並列確率的ニュートン法（PSN）を提案する。曲率情報をランダムかつ重複する部分行列のサンプリングによって活用し、収束を加速する。この手法は、特に汎在的リスク最小化のようなビッグデータ環境において、逐次的および並列座標降下法（PCDM）よりも理論的・実験的スピードアップを達成する。

ABSTRACT

We propose a parallel stochastic Newton method (PSN) for minimizing unconstrained smooth convex functions. We analyze the method in the strongly convex case, and give conditions under which acceleration can be expected when compared to its serial counterpart. We show how PSN can be applied to the empirical risk minimization problem, and demonstrate the practical efficiency of the method through numerical experiments and models of simple matrix classes.

研究の動機と目的

• ビッグデータにおける古典的2次最適化手法の非効率性を解消するため、曲率情報を保持しつつスケーラブルで並列化可能なアルゴリズムを設計すること。
• ニュートン法におけるフル・ヘッシアンの逆行列計算の計算ボトルネックを、ランダムかつ重複する部分行列近似を用いることで克服すること。
• 強い凸性と滑らかさの仮定の下で、並列確率的ニュートン法の理論的収束保証を提供すること。
• 理論的および実践的両面で、特に並列座標降下法（PCDM）と比較して優れた性能を示すこと。
• 双対定式化を用いて、経験的リスク最小化（ERM）問題にこの手法を拡張し、リッジ回帰などの統計的モデルに適用すること。

提案手法

• 重複するヘッシアン近似行列のブロックをサンプリングすることで、曲率情報を活用する並列確率的ニュートン法（PSN）を提案する。
• インデックス集合 $ S_k $ のランダムサンプリングを用いて部分行列 $ \mathbf{X}_{S_k} $ を形成し、複数のブロックにわたる並列更新を可能にする。
• ERM問題の双対定式化を用いて、PSNを直接適用可能な双対目的関数を導出する。この際、$ \alpha $-更新は双対勾配とヘッシアン近似に基づく。
• プライマル・デュアル更新を実行する：まず $ w^k = \nabla g^*(\bar{\alpha}_k) $ を計算し、次に $ h^{k_j} = \arg\min_h \langle I_{S_j^k}\mathbf{A}^\top w^k, h \rangle + \frac{1}{2}\langle h, \mathbf{X}_{S_j^k} h \rangle + \sum_{i\in S_j^k} \nabla\psi_i(\alpha_i^k) h_i $ を各部分問題で解く。
• 複数の部分問題の解を平均化して結合する：$ \alpha^{k+1} = \alpha^k + \frac{1}{b} \sum_{j=1}^c h^{k_j} $、並びに $ \bar{\alpha}^{k+1} $ に対してデュアル平均化を適用する。
• ヘッシアン近似行列 $ \mathbf{X} $ は $ \frac{1}{\lambda n^2}\mathbf{A}^\top\mathbf{A} + \frac{\mathbf{D}(\gamma)^{-1}}{n} $ として定義され、データと正則化子の曲率を統合する。

実験結果

リサーチクエスチョン

• RQ1 並列確率的ニュートン法は、強い凸最適化において、その逐次的対応より理論的加速を達成できるか？
• RQ2 ヘッシアンブロックの重複的かつ非固定のサンプリングは、固定で非重複なブロックと比較して収束に与える影響はいかほどか？
• RQ3 収束速度および実用的効率性の観点から、PSNはどのような状況で並列座標降下法（PCDM）を上回るか？
• RQ4 PSNがビッグデータ最適化問題においてスピードアップを達成する理論的条件は何か？
• RQ5 PSNフレームワークは、滑らかで強く凸な目的関数を持つ経験的リスク最小化（ERM）問題に、どのように適合可能か？

主な発見

• 強い凸性のもとでPSNは線形収束を理論的に達成し、収束速度はヘッシアン近似行列 $ \mathbf{X} $ の固有値スペクトル特性に依存する。
• 並列化のおかげで逐次的確率的ニュートン法よりも加速が実現され、特に $ \rho $-行列や $ \alpha $-三重対角行列といった特殊な行列クラスにおいて確認されている。
• $ \rho $-行列では、サンプリング分布が適切に選ばれていれば、PCDMを上回る収束速度を達成する。
• 数値実験では、高次元設定において特に顕著に、PSNは収束速度および最終的な目的関数値の両面でPCDMを上回る。
• ERMの双対定式化により、PSNの直接適用が可能となり、定理の結果を $ \mathbf{M} \leftarrow \mathbf{X} $ と置き換えることで収束保証がそのまま適用可能となる。
• 著者らは、先行研究[12]の双対ギャップバウンドがPSNに対しても成立すると推測しているが、形式的証明は今後の課題として残されている。