[論文レビュー] Theoretical study of an adaptive cubic regularization method with dynamic inexact Hessian information

Stefania Bellavia, Gianmarco Gurioli+1 more|arXiv (Cornell University)|Aug 19, 2018

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

この論文は、非凸最適化のための適応的正則化立方（ARC）法の動的不正確ヘッセ行列バージョンを提案する。ヘッセ行列の近似は、精度と計算コストのバランスを取るために動的に選択される。この手法は、ARCが保証する最悪ケースの反復回数の上限を維持しながら、決定的および確率的設定下で、有限和最小化問題に対してスケーラブルに効率的に適用可能である。

ABSTRACT

We consider the Adaptive Regularization with Cubics approach for solving nonconvex optimization problems and propose a new variant based on inexact Hessian information chosen dynamically. The theoretical analysis of the proposed procedure is given. The key property of ARC framework, constituted by optimal worst-case function/derivative evaluation bounds for first- and second-order critical point, is guaranteed. Application to large-scale finite-sum minimization based on sub-sampled Hessian is discussed and analyzed in both a deterministic and probabilistic manner.

研究の動機と目的

• 大規模非凸最適化における正確なヘッセ行列計算の高コストを緩和すること。
• 解の進行状況に基づいて動的に選択される不正確ヘッセ行列情報を用いるARCフレームワークの変種を開発すること。
• 大規模設定下で反復コストを低減しつつも、ARCの最適な最悪ケース反復複雑度を維持すること。
• ヘッセ行列の部分サンプリング（決定的および確率的）における提案手法の収束行動を分析すること。
• 機械学習や大規模最適化に一般的に見られる有限和最小化問題における実用的スケーラビリティを実現すること。

提案手法

• 最適化プロセス中に、現在の反復点と臨界点への進行状況に基づいて、不正確ヘッセ行列の近似を動的に選択する。
• 標準的なARCフレームワークに不正確ヘッセ行列情報を統合し、十分な減少と曲率制御のための立方正則化モデルを維持する。
• 動的選択メカニズムにより、収束保証を維持しつつ、計算オーバーヘッドを最小限に抑える。
• 有限和問題への適用において、ヘッセ行列の部分サンプリングを用いることで、反復コストを低減しながら理論的境界を維持する。
• 決定的および確率的フレームワークを統合した理論的分析により、1次または2次臨界点に到達するまでの反復回数の上限を導出する。
• ε-近似2次臨界点を求める際の最適な最悪ケース複雑度O(ε⁻¹.⁵)を維持する。

実験結果

リサーチクエスチョン

• RQ1 収束保証の劣化を伴わずに、ARCフレームワーク内で不正確ヘッセ行列情報を動的に選択可能か？
• RQ2 有限和最適化における部分サンプリングされたヘッセ行列近似が、最悪ケース反復複雑度に与える影響は何か？
• RQ3 大規模非凸問題において、ヘッセ行列の精度と計算コストのトレードオフをどのように動的に管理できるか？
• RQ4 不正確ヘッセ行列情報下でも、提案手法がARCの最適なO(ε⁻¹.⁵)反復複雑度を保持するか？
• RQ5 動的不正確ヘッセ行列ARC変種の確率的および決定的収束境界は、どのように確立できるか？

主な発見

• 提案手法は、元のARCフレームワークと同一の最適な最悪ケース反復複雑度O(ε⁻¹.⁵)を維持し、ε-近似2次臨界点に到達する。
• 不正確ヘッセ行列情報の動的選択により、収束保証を損なわず、ロバストかつ効率的な性能を達成する。
• 部分サンプリングされたヘッセ行列近似により、大規模有限和問題へのスケーラブルな適用が可能になり、理論的性能境界を維持する。
• 理論的分析により、決定的および確率的設定下での収束が確認され、ヘッセ行列評価回数の上限が導出された。
• 問題の進行状況に応じてヘッセ行列の不正確さを適応的に調整することで、精度と計算コストの良好なトレードオフを実現する。
• 正確なヘッセ行列計算が非現実的となる機械学習やその他の大規模最適化問題に、このフレームワークは適用可能である。