[論文レビュー] HONES: A Fast and Tuning-free Homotopy Method For Online Newton Step

Yuting Ye, Lihua Lei+1 more|arXiv (Cornell University)|Oct 14, 2016

Advanced Optimization Algorithms Research被引用数 3

ひとこと要約

HONES は、ウォームスターティングとスパースネスに配慮したアップデートを活用することで、オンラインニュートンステップにおける逐次一般化射影を解く高速でハイパーパrameterチューニング不要のホモトピー法である。行列更新のランク1構造を活用し、解のスパarsityを適応的に追跡することで、1反復あたりの計算量を O(n³) から O(nk_r) に削減し、内点法やパrameterチューニングを必要としない。

ABSTRACT

In this article, we develop and analyze a homotopy continuation method, referred to as HONES , for solving the sequential generalized projections in Online Newton Step, as well as the generalized problem known as sequential standard quadratic programming. HONES is fast, tuning-free, error-free (up to machine error) and adaptive to the solution sparsity. This is confirmed by both careful theoretical analysis and extensive experiments on both synthetic and real data.

研究の動機と目的

• オンラインニュートンステップにおける計算ボトル neck を解消する。これは、時間的に変化する正定値行列を伴う逐次二次計画問題を解く必要があるためである。
• 高周波度のオンライン最適化に適した、高速かつハイパーパrameterチューニングが不要な手法を開発すること。
• ヘシアン行列のランク1更新構造と最適解のスパarsityを活用して収束を加速すること。
• 内点法やプロジェクション勾配法に依存しないこと。これらは内点初期値を必要としたり、効率的な停止ルールを欠いている。
• 解のスパarsityに適応し、機械精度まで数値安定性を保つ、頑健でエラーのないアルゴリズムを提供すること。

提案手法

• HONES は、ヘシアン行列 A^(t) のランク1更新構造を活用して、時間ステップ間で解のパスを追跡するホモトピー継続フレームワークを用いる。
• 非ゼロ変数のサポート集合 S を維持し、λ-ベースのパスフォロ wing と u-λ-ベースのリファインメントの2段階更新により、動的に拡大または縮小する。
• サポート変更を効率的に処理する2つの主要なアップデートルーチン、UPDATE_EXPAND_SUPPORT および UPDATE_UTILDE_EXPAND_SUPPORT を採用。これらはスパース行列更新を活用する。
• 問題パラメータをエンコードするための中間変数 (Par₁, Par₂, Par₃) を使用し、完全な行列再反転を回避するインクリメンタル計算を可能にする。
• ウォームスターティングと適応的サポート同定を組み合わせ、妥当性および最適性条件に基づく停止ルールを有するラインサーチ戦略を採用。
• 内点法のような反復的ソルバーを避けて、パrametric継続により解のパスを直接追跡することで、計算量を O(n³) から O(nk_r) に削減する。

実験結果

リサーチクエスチョン

• RQ1 オンラインニュートンステップにおける逐次一般化射影を解くホモトピー法を、パrameterチューニングを必要とせずに設計できるか？
• RQ2 ヘシアン行列のランク1更新構造を活用して、立方より低い時間計算量を達成できるか？
• RQ3 アルゴリズムが解のスパarsityを適応的に追跡し、内点初期値を必要とせずに数値的精度を維持できるか？
• RQ4 大規模なオンライン問題において、標準的な内点法やプロジェクション勾配法よりも速度とスケーラビリティに優れるか？
• RQ5 O(n³) から O(nk_r) に反復コストを削減しながらも、O(log T) のレグレット保証を維持できるか？

主な発見

• HONES は1反復あたり O(ns_* + nk_r) の計算量を達成し、初期解における非ゼロ変数数 s_* とサポート変更回数 k_r に依存する。内点法の O(n³) に比べて顕著に削減される。
• アルゴリズムはチューニング不要かつ機械精度まで誤差なしで動作し、ラインサーチや停止ルールのヒューリスティクスを必要としない。
• 合成データおよび実世界データにおける実験結果から、HONES は内点法に対して最大100倍の高速化、SPG に対して10倍の高速化を達成した。
• 最適解がスパースになるに従い、自然にスパarsityに適応し、性能が向上する。
• HONES はオンラインニュートンステップの O(log T) レグレットバウンドを維持しながら、反復あたりの計算コストを著しく削減した。
• 単体制約付き問題でよく見られる境界解に対しても、従来の手法（SPG やミラー降下）がゼロエントリ制約のため失敗するのに対し、HONES は正常に処理できる。