[論文レビュー] DynaNewton - Accelerating Newton's Method for Machine Learning

Hadi Daneshmand, Aurélien Lucchi+1 more|arXiv (Cornell University)|May 20, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用数 4

ひとこと要約

DynaNewton は継続的経路を用いて、サンプルサイズと正則化強度を動的に調整することでニュートン法を機械学習で高速化し、各ニュートン反復が二次収束領域内から開始されることを保証する。これにより超線形収束が達成され、顕著な高速化が得られ、さまざまなデータセットで平均2有効エポック未満でほぼ最適解に到達する。

ABSTRACT

Newton's method is a fundamental technique in optimization with quadratic convergence within a neighborhood around the optimum. However reaching this neighborhood is often slow and dominates the computational costs. We exploit two properties specific to empirical risk minimization problems to accelerate Newton's method, namely, subsampling training data and increasing strong convexity through regularization. We propose a novel continuation method, where we define a family of objectives over increasing sample sizes and with decreasing regularization strength. Solutions on this path are tracked such that the minimizer of the previous objective is guaranteed to be within the quadratic convergence region of the next objective to be optimized. Thereby every Newton iteration is guaranteed to achieve super-linear contractions with regard to the chosen objective, which becomes a moving target. We provide a theoretical analysis that motivates our algorithm, called DynaNewton, and characterizes its speed of convergence. Experiments on a wide range of data sets and problems consistently confirm the predicted computational savings.

研究の動機と目的

• ニュートン法の初期段階が遅いため、二次収束に到達するまでの計算コストが著しく高い問題に対処する。
• バッチニュートン法の反復コストが高い問題を克服するため、訓練データを部分的にサンプリングし、時間経過とともに正則化を減少させる。
• 逐次的に大きなサンプルサイズと弱い正則化を追跡する継続的メソッドを開発し、各ステップが二次収束領域内から開始されることを保証する。
• 初期値が悪い場合のロバスト性を向上させるために、直前の解を次の部分問題の初期点として活用する。
• 実験的および期待リスク最小化の両方でより速い収束を達成し、計算コストの削減について理論的および実験的妥当性を検証する。

提案手法

• サンプルサイズ $ n $ に比例して $ \nu \propto 1/n $ となるように、$ f^{\text{S}}_{\nu}(\mathbf{x}) = \frac{1}{|\mathcal{S}|} \sum_{\mathbf{z} \in \mathcal{S}} \phi^{\mathbf{z}}(\mathbf{x}) + \nu \Omega(\mathbf{x}) $ の形の目的関数族を定義する。
• 制御された方法でサンプルサイズ $ n $ を増加させ、正則化 $ \nu $ を減少させる動的継続的経路を用いる。これにより、1つの部分問題の解が次の問題の二次収束領域内に収まるように保証する。
• 増分要因 $ \alpha $ の増加率を制御するデータ適応戦略を導入し、サンプルサイズの増加速度と正則化の減少速度を制御する。
• 直前の部分問題の解を次のニュートン反復の初期点として活用することで、収束を高速化する。
• L-BFGS などの準ニュートン法と統合するため、同じ継続的フレームワークを適用し、正確なヘッシアン計算に限らないアプローチを拡張する。
• 理論的分析により、各次の問題の二次収束球内に初期点を保つことで、各ニュートンステップで超線形収縮が保証される。

実験結果

リサーチクエスチョン

• RQ1 大規模機械学習におけるニュートン法の高速化に、動的サブサンプリングと適応的正則化を用いることは可能か？
• RQ2 サンプルサイズを増加させ、正則化を減少させる継続的経路は、各ニュートンステップが二次収束領域内から開始されることを保証するか？
• RQ3 実験的および期待リスク最小化において、DynaNewton は標準ニュートン法、SAGA、L-BFGS と比較して収束速度がどのように異なるか？
• RQ4 標準ニュートン法と比較して、DynaNewton は初期値が悪い場合にもどの程度ロバスト性を保っているか？
• RQ5 L-BFGS などの準ニュートン法へ継続的フレームワークを拡張することは可能か？収束速度と精度を維持できるか？

主な発見

• DynaNewton は、各ニュートン反復が次の部分問題の二次収束領域内から開始されることを保証することで、超線形収束を達成する。
• a9a, w8a, covtype, susy など全テストデータセットで、DynaNewton は2有効エポック未満でほぼ最適解に到達し、標準ニュートン法を著しく上回る。
• 動的サンプルサイズと正則化の適応により計算コストを削減し、実験結果では特に期待リスク最小化において顕著な高速化が得られた。
• 増分要因 $ \alpha $ を選ぶためのデータ適応戦略により収束が安定し、固定された小さな $ \alpha $ 値では見られる発散を回避した。
• DynaNewton は初期値が悪い場合にもロバストである：標準ニュートン法とは異なり、初期点が遠くても収束が著しく遅れない。
• 実験的結果により、継続的メソッドが L-BFGS へも拡張可能であることが確認された。これは、正確なヘッシアンを必要としない手法へも広く適用可能である可能性を示唆するが、準ニュートン変種については理論的保証は未解決のままである。