[論文レビュー] Generalized Self-concordant Hessian-barrier algorithms

Pavel Dvurechensky, Mathias Staudigl+1 more|arXiv (Cornell University)|Nov 4, 2019

Sparse and Compressive Sensing Techniques参考文献 48被引用数 2

ひとこと要約

本稿では、実行可能領域の境界に特異点を有する非凸最適化問題に対する一般化自己調和ヘシアン・バリアアルゴリズムを導入する。一般化自己調和バリア関数によって誘導されるリーマン計量を活用することで、アルゴリズムは近似停留点へのグローバル収束を保証し、自己調和バリアが利用可能な場合には最適な反復複雑性を達成する。非凸統計的推定およびLp-最小化問題において、その有効性が示された。

ABSTRACT

Many problems in statistical learning, imaging, and computer vision involve the optimization of a non-convex objective function with singularities at the boundary of the feasible set. For such challenging instances, we develop a new interior-point technique building on the Hessian-barrier algorithm recently introduced in Bomze, Mertikopoulos, Schachinger and Staudigl, [SIAM J. Opt. 2019 29(3), pp. 2100-2127], where the Riemannian metric is induced by a generalized self-concordant function. This class of functions is sufficiently general to include most of the commonly used barrier functions in the literature of interior point methods. We prove global convergence to an approximate stationary point of the method, and in cases where the feasible set admits an easily computable self-concordant barrier, we verify worst-case optimal iteration complexity of the method. Applications in non-convex statistical estimation and $L^{p}$-minimization are discussed to given the efficiency of the method.

研究の動機と目的

• 統計的学習、画像処理、コンピュータビジョンにおいて一般的に見られる境界特異点を有する非凸・非滑らか最適化問題の挑戦に応える。
• Lp正則化問題のような非滑らかまたは非凸な目的関数では失敗する、グローバルリプシッツ勾配仮定に依存する古典的1次最適化手法の限界を克服する。
• 非凸性と滑らかでない性質を扱いながらも、実行可能性と収束性を維持する、一般化自己調和バリア関数に基づく新しい内点法を開発する。
• 特に、実行可能領域に対して自己調和バリアが存在する場合に、弱い仮定のもとでグローバル収束性と最悪ケース最適反復複雑性を確立する。
• 標準的手法が非微分可能性および非凸性のため失敗する非凸統計的推定およびLp-最小化問題において、本手法の実用的有効性を示す。

提案手法

• 一般化自己調和バリア関数 h のヘシアンを用いて、実行可能領域にリーマン多様体構造を構築し、最適化に適した計量を誘導する。
• グローバルリプシッツ定数に依存しないように、実行可能性と目的関数の十分な減少を保証するステップサイズ戦略を設計する。
• ヘシアン・バリアパラメータ ν ∈ (2, 4] を含む関数による下界で、バリア合成目的関数の減少量を保証するポテンシャル減少フレームワークを活用する。
• 各反復における十分な減少を保証するパラメータ化された降下条件を関数 γ(t) を用いて導入し、微分積分学およびテイラー展開を用いて境界を導出する。
• バリアパラメータと曲率に基づく適応的ステップサイズを有する修正アーミジョ線探索を適用し、勾配のリプシッツ連続性を仮定しない収束性を保証する。
• 勾配ノルム ∥∇Fμ(xk) − A⊤yk∥² → 0 の極限挙動の解析により収束を確立し、すべての極限点がバリア正則化問題の停留点であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 古典的自己調和バリアを超えて、より広い関数クラスを含む一般化自己調和ヘシアン・バリアに拡張可能なか？収束性と複雑性保証は維持されるか？
• RQ2 提案手法は、境界特異点を有する非凸・非滑らか問題に対して、近似停留点へのグローバル収束を達成するか？
• RQ3 実行可能領域に自己調和バリアが存在する場合、本手法の最悪ケース反復複雑性はいかほどか？
• RQ4 非凸統計的推定およびLp-最小化問題において、標準的手法が非微分可能性および非凸性のため失敗する状況で、本手法は実際どれほど効果的か？
• RQ5 勾配のグローバルリプシッツ連続性を仮定しない非凸複合モデルに対しても、収束解析を拡張可能か？

主な発見

• アルゴリズムは非凸最適化問題の近似停留点へのグローバル収束を示し、k → ∞ のとき ∥∇Fμ(xk) − A⊤yk∥² → 0 となる。
• 実行可能領域に自己調和バリアが存在する場合、本手法は最悪ケース最適反復複雑性を達成し、このような問題に対する既知の下界と一致する。
• ポテンシャル減少量 ∆k は、正の定数倍の min{λk²/δk, λk²/(L + µ)} で下から抑えられ、ν ∈ (3, 4) のとき定数 ˜γν ∈ (1 − ln 2, 1) であり、ν = 4 のときは exp(−1) である。
• 反復列に沿ってステップサイズパラメータ λk → 0 および βk → 0 となるため、バリア正則化目的関数の勾配ノルムが極限で消える。
• 非滑らか性および非凸性に対して頑健であることが、p ∈ (0, 1) のLp正則化問題への応用により実証された。ここで目的関数は原点で方向微分可能でない。
• f が非凸かつ非滑らかであっても、バリア関数が一般化自己調和であれば、極めて広いクラスのバリア関数（古典的内点法で用いられるものも含む）を許容する最小限の仮定のもとで収束結果が成立する。