[論文レビュー] The condition of a function relative to a polytope

David H. Gutman, Javier Peña|arXiv (Cornell University)|Feb 1, 2018

Advanced Optimization Algorithms Research参考文献 8被引用数 6

ひとこと要約

本稿では、基準となる多面体に関して相対的滑らかさ定数と相対的強い凸性定数の比として定義される、多面体上での滑らかな凸関数の相対的条件数を導入する。この条件数は、アウェイステップ付きのフランク＝ウォルフ法や投影勾配法などの一次順序法の線形収束速度を上限づけることが示され、二次関数の場合、幾何的にはスケーリングされた多面体の直径対面距離比の二乗に等しい。

ABSTRACT

The condition number of a smooth convex function, namely the ratio of its smoothness to strong convexity constants, is closely tied to fundamental properties of the function. In particular, the condition number of a quadratic convex function is precisely the square of the diameter-to-width ratio of a canonical ellipsoid associated to the function. Furthermore, the condition number of a function bounds the linear rate of convergence of the gradient descent algorithm for unconstrained minimization. We propose a condition number of a smooth convex function relative to a reference polytope. This relative condition number is defined as the ratio of a relative smooth constant to a relative strong convexity constant of the function, where both constants are relative to the reference polytope. The relative condition number extends the main properties of the traditional condition number. In particular, we show that the condition number of a quadratic convex function relative to a polytope is precisely the square of the diameter-to-facial-distance ratio of a scaled polytope for a canonical scaling induced by the function. Furthermore, we illustrate how the relative condition number of a function bounds the linear rate of convergence of first-order methods for minimization of the function over the polytope.

研究の動機と目的

• 非制約最適化から制約付き最適化（多面体上）への古典的条件数概念の拡張。
• 基準となる多面体に関して関数の相対的滑らかさ定数と強い凸性定数を定義すること。
• 多面体集合上での一次順序法の線形収束速度が、相対的条件数によって上限づけられることを確立すること。
• 二次関数に対して、スケーリングされた多面体の幾何構造を用いて相対的条件数の幾何的解釈を提供すること。
• 最小値集合の構造を捉える関数的成長アプローチを用いて、強い凸性定数を精緻化すること。

提案手法

• 基準多面体 $ \mathrm{conv}(A) $ の幾何的性質を用いて、相対的滑らかさ定数 $ L_{f,A} $ と相対的強い凸性定数 $ \mu_{f,A} $ を定義する。
• 関数 $ f $ の $ \mathrm{conv}(A) $ 上での最小値集合に依存する、改良された強い凸性定数 $ \mu^\star_{f,A} $ を定義し、$ \mu_{f,A} $ を改善する。
• 二次関数 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $ に対して、相対的条件数が $ \mathrm{conv}(Q^{1/2}A) $ の直径対面距離比の二乗に等しいことを示す。
• 相対的条件数を収束速度の上限として用いて、アウェイステップ付きフランク＝ウォルフ法および投影勾配法の線形収束を証明する。
• 相対的滑らかさと強い凸性に基づく統一的分析フレームワークを用いて、一次順序法の線形収束証明を簡略化・統一する。
• 実際の応用では $ L_{f,A} $ が未知の場合にバックトラッキングラインサーチを適用し、真の境界の定数倍で収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 関数の古典的条件数は、多面体上での制約付き最適化にどのように一般化できるか？
• RQ2 二次関数の多面体上における相対的条件数の幾何的意味は何か？
• RQ3 相対的条件数は、フランク＝ウォルフ法や投影勾配法などの一次順序法の収束速度とどのように関係するか？
• RQ4 非強い凸関数において $ \mu_{f,A} = 0 $ であっても正である可能性がある、改良された強い凸性定数 $ \mu^\star_{f,A} $ を定義できるか？
• RQ5 相対的条件数と古典的条件数の関係は何か？また、多面体の幾何構造はどのように関与するか？

主な発見

• 二次関数 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $ に対して、相対的条件数 $ \frac{L_{f,A}}{\mu_{f,A}} $ は、スケーリングされた多面体 $ \mathrm{conv}(Q^{1/2}A) $ の直径対面距離比の二乗に正確に等しい。
• 相対的条件数 $ \frac{L_{f,A}}{\mu_{f,A}} $ は、古典的条件数 $ \frac{L_f}{\mu_f} $ と多面体 $ \mathrm{conv}(A) $ の直径対面距離比の二乗の積によって上から有界である。
• アウェイステップ付きフランク＝ウォルフ法の収束速度は、$ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{16L_{f,A}}, \frac{1}{2} \right\} $ で上限づけられ、証明の簡潔さと洞察の深さにおいて従来の結果を改善する。
• 投影勾配法の収束速度は、$ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{4L_{f,A}}, \frac{1}{2} \right\} $ で上限づけられ、統一的分析フレームワークを用いて収束を証明する。
• 改良定数 $ \mu^\star_{f,A} $ は常に $ \mu_{f,A} $ 以上であり、$ \mu_{f,A} = 0 $ であっても正である可能性があるため、特定の非強い凸関数に対しても線形収束が可能になる。
• 提案された相対的条件数は、多面体上での一次順序法の収束証明を簡略化・統一する幾何的・解析的枠組みを提供する。