[論文レビュー] Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|May 24, 2016

Gaussian Processes and Bayesian Inference被引用数 11

ひとこと要約

本稿では、経験的リスク最小化（ERM）のための適応的ニュートン法Ada Newtonを提案する。この手法は各ステップで訓練データセットのサイズを1より大きい要因αで動的に増加させ、各ニュートン反復で1回の更新で統計的精度に到達することを保証する。本手法はデータセットを約2回のパスで完全な統計的精度に到達させ、SAGA や SGD といった一次順法よりも優れた性能を示す一方で、ヘッセ行列の逆行列計算をO(log N)回に制限する。

ABSTRACT

We consider empirical risk minimization for large-scale datasets. We introduce Ada Newton as an adaptive algorithm that uses Newton's method with adaptive sample sizes. The main idea of Ada Newton is to increase the size of the training set by a factor larger than one in a way that the minimization variable for the current training set is in the local neighborhood of the optimal argument of the next training set. This allows to exploit the quadratic convergence property of Newton's method and reach the statistical accuracy of each training set with only one iteration of Newton's method. We show theoretically and empirically that Ada Newton can double the size of the training set in each iteration to achieve the statistical accuracy of the full training set with about two passes over the dataset.

研究の動機と目的

• 大規模な経験的リスク最小化（ERM）において、計算コストを最小限に抑えながら統計的精度を達成する課題に対処すること。
• ラインサーチに依存する、二次収束性に欠ける、ヘッセ行列の逆行列計算コストが高いといった、確率的二階微分法の限界を克服すること。
• ラインサーチを必要とせず、統計的精度を超える解に到達しないように、ニュートン法の二次収束性を活用するアルゴリズムを開発すること。
• 解の近傍が次の最適解に近いことを維持しながら、適応的にサンプルサイズを増加させることで、効率的な最適化を可能にすること。
• 標準的なニュートン法と比較して、最小限のデータセットパス数とヘッセ行列の逆行列計算回数で、ほぼ最適な収束を達成すること。

提案手法

• 各反復で初期サンプルサイズm₀から出発し、要因α > 1でサンプルサイズを適応的に増加させる。
• 経験的リスクRₙにVₙのオーダーの二次正則化項を導入し、正則化問題が統計的精度Vₙを維持することを保証する。
• サンプルサイズmにおける現在の解wₘが、n = αmとなるより大きな問題Rₙの二次収束領域内にあることを保証する。
• 各段階でユニットステップサイズを用いた1回のニュートン反復を実行し、現在のサンプルサイズの統計的精度に収束することを保証する。
• 各ニュートンステップで劣化ギャップが二乗に減少することを活用し、解が次の問題の二次収束領域内にある場合にのみ、積極的なサンプルサイズ増加を可能にする。
• 増加するサンプルサイズのヘッセ行列のみを逆行列計算し、Hessianの逆行列計算回数をlogₐN回に制限する（Nは全データセットサイズ）。

実験結果

リサーチクエスチョン

• RQ1 ラインサーチを必要とせず、全データセットを1回以上走査しない条件でも、ニュートン法を適応的に変更することで、ERMにおける統計的精度に到達可能か？
• RQ2 次の最適解への初期解の近接度を制御することで、増加するサンプルサイズにわたってニュートン法の二次収束性を維持することは可能か？
• RQ3 どのサンプルサイズ増加要因αが、約2回のデータセットパスで統計的精度に到達するか？
• RQ4 Vₙのオーダーの適応的正則化は、増加するサンプルサイズにわたるニュートン反復の安定性と収束性にどのように影響するか？
• RQ5 O(log N)回のヘッセ行列逆行列計算に抑えながら、大規模なERMにおいても統計的精度に到達可能か？

主な発見

• プロテイン相同性データセットでは、Ada Newtonはデータセットを約2.4回のパスでO(1/N)の統計的精度に到達し、理論的境界α/(α−1) = 2（α = 2の場合）に非常に近い結果を示した。
• ニュートン法では7.5回のパスを要し、SAGAでは10回、SGDは25回のパスを経てもO(1/N)の精度に到達できなかった。
• 実行時間の観点から、Ada Newtonは25秒未満で統計的精度に到達したが、SAGAは同じ精度に到達するまでに62秒を要した。
• サンプルサイズが全データセットサイズに達した段階で、収束が二次的になる。これは、解が二次収束領域内にあるためである。
• Ada Newtonは初期条件に対して頑健であり、標準的なニュートン法とは異なり、高価なウォームアップ段階を回避する。
• 理論的分析により、各ニュートンステップで劣化ギャップが二乗に減少することが示され、解が次の問題の二次収束領域内にある場合にのみ、積極的なサンプルサイズ増加が可能であることが明らかになった。