[論文レビュー] Kurdyka-Łojasiewicz exponent via inf-projection

Peiran Yu, Guoyin Li+1 more|arXiv (Cornell University)|Feb 10, 2019

Advanced Optimization Algorithms Research参考文献 54被引用数 10

ひとこと要約

本稿では、最適化の再定式化における基本的変換であるinf-投影に関して、Kurdyka-Łojasiewicz (KL) 指数が保存されることを確立している。この結果を活用して、低ランク行列回復、グループlassoの変種、Bregmanエンvelopeといった重要な凸および非凸モデルの明示的なKL指数を導出している。特に、二乗誤差和とランク制約付き行列の指示関数の和に関しては、KL指数が $1 - \frac{1}{4 \cdot 9^{\tau}}$ となることが示されており、$\tau$ は行列の次元に依存する。

ABSTRACT

Kurdyka-Lojasiewicz (KL) exponent plays an important role in estimating the convergence rate of many contemporary first-order methods. In particular, a KL exponent of $\frac12$ for a suitable potential function is related to local linear convergence. Nevertheless, KL exponent is in general extremely hard to estimate. In this paper, we show under mild assumptions that KL exponent is preserved via inf-projection. Inf-projection is a fundamental operation that is ubiquitous when reformulating optimization problems via the lift-and-project approach. By studying its operation on KL exponent, we show that the KL exponent is $\frac12$ for several important convex optimization models, including some semidefinite-programming-representable functions and some functions that involve $C^2$-cone reducible structures, under conditions such as strict complementarity. Our results are applicable to concrete optimization models such as group fused Lasso and overlapping group Lasso. In addition, for nonconvex models, we show that the KL exponent of many difference-of-convex functions can be derived from that of their natural majorant functions, and the KL exponent of the Bregman envelope of a function is the same as that of the function itself. Finally, we estimate the KL exponent of the sum of the least squares function and the indicator function of the set of matrices of rank at most $k$.

研究の動機と目的

• 最適化再定式化における重要な変換であるinf-投影操作におけるKurdyka-Łojasiewicz (KL) 指数の計算規則を確立すること。
• 半定値計画表現可能な関数や $C^2$-コーン還元可能な構造を含む、重要な凸および非凸最適化モデルに対する明示的なKL指数を導出すること。
• 低ランク行列回復の中心的モデルである、二乗誤差関数とランク-$k$ 行列の集合の指示関数の和のKL指数を解明すること。
• 差分凸関数やBregmanエンvelopeといった非凸モデルへのKL指数解析を拡張し、これらの操作における不変性を示すこと。
• 特に厳密補完性を含む条件下で、構造的凸モデルのKL指数を明示的に計算できる条件を同定すること。

提案手法

• 著者らは、適切で閉じた関数 $F(x,y)$ のinf-投影 $f(x) = \inf_y F(x,y)$ に対して、KL指数が保存されることを示す、新しい計算規則を導入した。これは、やや弱い正則性条件のもとで成り立つ。
• この結果を凸モデルに適用し、既知のKL指数を持つ関数のinf-投影が、その指数を保つことを確認した。特に、基盤となる多様体構造が厳密補完性を満たす場合に有効である。
• 低ランク行列回復モデルに対しては、直交制約を含む拡張された定式化を構築し、陰関数定理を用いて制約写像の微分の単射性を検証した。
• KL性質と誤差境界の関係、特に一次誤差境界とホルダー成長条件を活用し、KL指数を実行可能集合の構造に関連づけた。
• inf-投影計算規則を適用するためには、特に、下界変数における局所有界性と、空でない部分微分の存在を確認する必要がある。この条件の検証が、定理3.1の条件を満たすために不可欠である。
• 非凸モデルに対しては、主要関数とBregmanエンベロープの性質を用いて、単純な関数から複雑な関数へKL指数の情報を移転させた。

実験結果

リサーチクエスチョン

• RQ1 最適化のリフト＆プロジェクション再定式化における中心的ツールであるinf-投影操作において、Kurdyka-Łojasiewicz (KL) 指数は不変のままであるか？
• RQ2 二乗誤差関数とランクが高々 $k$ の行列の集合の指示関数の和の正確なKL指数は何か？
• RQ3 差分凸関数のKL指数は、その凸上界関数のKL指数から導出可能か？また、Bregmanエンベロープは元の関数のKL指数を保存するか？
• RQ4 特に厳密補完性を含む条件下で、$C^2$-コーン還元可能な構造を含む凸モデルのKL指数を明示的に計算できる条件は何か？
• RQ5 グループファズドlasso やオーバーラップグループlasso といった、高次元統計で一般的な非凸モデルのKL指数をどのように推定できるか？

主な発見

• 制約写像が単射で、関数が適切かつ閉じている場合、KL指数はinf-投影のもとで保存される。これにより、KL指数に対する新たな計算規則が得られた。
• 二乗誤差関数とランク-$k$ 行列の指示関数の和に関しては、KL指数が明示的に $1 - \frac{1}{4 \cdot 9^{\tau}}$ であることが示された。ここで $\tau$ は行列の次元とランク制約に依存する。
• 関数のBregmanエンベロープのKL指数は、元の関数のKL指数と同一であり、非凸設定への既知の結果の拡張がなされた。
• 差分凸関数に関しては、自然な凸上界関数のKL指数からKL指数を導出可能であり、非凸モデルの解析が可能になった。
• $C^2$-コーン還元可能な構造を含む凸モデルでは、厳密補完性のもとでKL指数は $\frac{1}{2}$ である。これはグループファズドlasso やオーバーラップグループlasso といった重要なケースを含む。
• 最小二乗損失関数にSCAD や MCP 正則化を適用した場合のKL指数が $\frac{1}{2}$ であることが、inf-投影計算規則を用いて確認された。これは既知の結果と整合的であり、新たなアプローチにより導出された。