[論文レビュー] Optimal and Adaptive Monteiro-Svaiter Acceleration

Yair Carmon, Danielle Hausler+3 more|arXiv (Cornell University)|May 30, 2022

Advanced Optimization Algorithms Research被引用数 5

ひとこと要約

本稿では、各反復で陰方程式を解く必要がなくなる、モンテイロ＝スヴァイター加速フレームワークの二分法フリーな変種を提案する。これは、リプシッツ連続な高階導関数をもつ凸最適化において最適収束速度を達成する。Hessianのリプシッツ定数のチューニングが不要な、適応的第二階微分オラクルを導入し、第二階および第一階の実装が、対数要因を除いて最適な複雑度境界に一致する。

ABSTRACT

We develop a variant of the Monteiro-Svaiter (MS) acceleration framework that removes the need to solve an expensive implicit equation at every iteration. Consequently, for any $p\ge 2$ we improve the complexity of convex optimization with Lipschitz $p$th derivative by a logarithmic factor, matching a lower bound. We also introduce an MS subproblem solver that requires no knowledge of problem parameters, and implement it as either a second- or first-order method by solving linear systems or applying MinRes, respectively. On logistic regression our method outperforms previous second-order momentum methods, but under-performs Newton's method; simply iterating our first-order adaptive subproblem solver performs comparably to L-BFGS.

研究の動機と目的

• 二分法による計算コストと実用的性能への悪影響を引き起こす、モンテイロ＝スヴァイター加速における未解決問題を解決する。
• Hessianのリプシッツ定数Mのチューニングが不要な、適応的第二階微分オラクルを開発する。
• ホーラー連続Hessianをもつ関数に対して、反復回数および線形システムの解法の複雑度を、対数要因を除いて最適化する。
• 第二階および第一階の両方の実装を提供し、評価複雑度が最適であることを確認する。
• 提案手法がロジスティック回帰において、非適応的手法を上回り、L-BFGSやニュートン型手法と同等またはそれを上回ることを実験的に示す。

提案手法

• 陰方程式の解法を回避するように、プロキシマルパラメータの更新を再定義することで、モンテイロ＝スヴァイター加速フレームワークを変更し、二分法を排除する。
• Hessianのリプシッツ定数の事前知識が不要な、新しい適応的オラクルaMSNを導入する。
• 1回のオラクル呼び出しあたり、二重対数的数の線形システムの解法を実行し、従来のMSベース手法と比較して計算コストを顕著に低減する。
• 理論的解析に基づいた適応的停止基準を用いて、MinResを用いて線形システムを近似的に解く第一階の変種aMSN-foを開発する。
• 収束の安定性、特に悪条件の状況下での収束を保証するため、加速スキームにモーメンタム減衰機構を組み込む。
• 適応的オラクルを変更された加速フレームワークと組み合わせ、ホーラー連続Hessian関数に対して最適な外部反復複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 モンテイロ＝スヴァイター加速フレームワークを、二分法を排除しつつ最適収束速度を維持できるように変更できるか？
• RQ2 Hessianのリプシッツ定数Mのチューニングが不要な、適応的第二階微分オラクルを設計できるか？
• RQ3 リプシッツ連続なp階導関数をもつ凸最適化における第二階および第一階手法の最適評価複雑度は何か？
• RQ4 提案された適応的オラクルは、非適応的手法およびL-BFGSと比較して、ロジスティック回帰でどの程度の性能を示すか？
• RQ5 加速スキームに組み込まれたモーメンタム減衰機構は、収束安定性を顕著に向上させるか？

主な発見

• 提案手法は、ν階ホーラー連続Hessianをもつ関数に対して、O(t^{-(4+3ν)/2})の最適収束速度を達成し、対数要因を除いて既知の下界と一致する。
• 適応的オラクルaMSNは、1回の呼び出しあたり二重対数的数の線形システムの解法を必要とし、従来のMSベース手法の対数的コストを上回る。
• 第一階実装aMSN-foは、勾配のリプシッツ定数を事前に知らない状態で、追加の対数項を除いて最適な第一階評価複雑度を達成する。
• ロジスティック回帰において、適応的加速手法は、以前の第二階加速手法を上回り、L-BFGSの性能と同等またはそれを上回る。
• モーメンタム減衰機構は収束に不可欠であり、これを除去すると、全テストデータセットで失敗が生じる。
• リプシッツHessianをもつ極端なケースにおいて、加速手法は期待されるO(t^{-7/2})の収束速度を達成し、理論的利点が裏付けられる。