[論文レビュー] Linearly Convergent Away-Step Conditional Gradient for Non-strongly Convex Functions

Amir Beck, Shimrit Shtern|arXiv (Cornell University)|Apr 20, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用数 10

ひとこと要約

本稿では、コンpact多面体集合上での線形項と線形変換による強い凸関数の合成の和として表される非強い凸関数を最小化するための、線形収束性を示すアウェイステップ条件付き勾配法を提示する。新たな幾何的定数「頂点-面距離定数」を導入することで、ピラミッド幅に依存しない線形収束が達成され、従来のピラミッド幅に基づく手法の限界を克服した。

ABSTRACT

We consider the problem of minimizing a function, which is the sum of a linear function and a composition of a strongly convex function with a linear transformation, over a compact polyhedral set. Jaggi and Lacoste-Julien [14] showed that the conditional gradient method with away steps employed on the aforementioned problem without the additional linear term has linear rate of convergence, depending on the so-called pyramidal width of the feasible set. We revisit this result and provide a variant of the algorithm and an analysis that is based on simple duality arguments, as well as corresponding error bounds. This new analysis (a) enables the incorporation of the additional linear term, (b) does not require a linear-oracle that outputs an extreme point of the linear mapping of the feasible set and (c) depends on a new constant, termed "the vertex-facet distance constant", which is explicitly expressed in terms of the problem's parameters and the geometry of the feasible set. This constant replaces the pyramidal width, which is difficult to evaluate.

研究の動機と目的

• 線形項を含む非強い凸関数に対する線形収束性を示す条件付き勾配法の開発。
• 制約集合の線形写像の極端点を出力する頂点線形オラクルの必要性を排除すること。
• 計算が困難なピラミッド幅を、新たな明示的に計算可能な幾何的定数に置き換えること。
• 新しいアルゴリズムフレームワークの収束速度を双対性と誤差境界に基づいて確立すること。
• 単体、ℓ₁球、ℓ∞球といった一般的な多面体集合における頂点-面距離定数の明示的表現を提供すること。

提案手法

• 頂点線形オラクルに依存しない新しいアウェイステップ条件付き勾配（ASCG）法の変種を提案。線形項を組み込み、線形写像の極端点を出力する必要がない。
• 「頂点-面距離定数」Ω_X を定義し、これは頂点から負の内積を持つ面までの最小距離を、制約行の最大ノルムで割った比として定義される。
• 双対性に基づく解析と誤差境界を用いて収束速度を導出。従来のピラミッド幅に依存するのではなく、代替する。
• カラテオドリの定理に基づくランク削減手順を用いて、高次元多面体における大きな頂点集合を管理する。
• 再帰的議論により、少なくとも半数の反復が収縮不等式を率 (1−α†) で満たすことを示し、線形収束を導出。
• 単位単体、ℓ₁球、ℓ∞球について、それらの多面体表現と頂点-面幾何を用いてΩ_Xを明示的に計算。

実験結果

リサーチクエスチョン

• RQ1 線形項を含む非強い凸関数に対して、アウェイステップ条件付き勾配法を用いて線形収束を達成できるか？
• RQ2 収束解析において、計算が困難なピラミッド幅を、より実用的な幾何的定数に置き換えることは可能か？
• RQ3 変換された実行可能集合の極端点を出力する頂点線形オラクルを必要としないアルゴリズムを設計できるか？
• RQ4 標準的な多面体集合（単体、ℓ₁/ℓ∞球）における新しい幾何的定数Ω_Xの明示的値は何か？
• RQ5 新しい収束速度は、問題パラメータおよび実行可能集合の幾何的性質にどのように依存するか？

主な発見

• 収束速度は (1−α†)^(k/2) の形を取り、α†は頂点-面距離定数に依存する定数である。
• 頂点-面距離定数Ω_Xは明示的に計算可能であり、収束解析において計算不能なピラミッド幅の代わりに使用可能である。
• 単位単体ではΩ_X = 1、ℓ₁球ではΩ_X = 2/√n、ℓ∞球ではΩ_X = 2 である。
• 頂点線形オラクルを必要としないため、そのようなオラクルが利用不可または非効率な問題への適用範囲が広がる。
• 収束解析は双対性と誤差境界に基づき、全目的関数の強い凸性に依存しない洗練された理論的基盤を提供する。
• ジャギとラコステ＝ジュリエンの先行研究を、線形項の導入とより実用的な幾何的定数の使用により拡張した。