[論文レビュー] Primal-Dual Rates and Certificates

Celestine Dünner, Simone Forte+2 more|arXiv (Cornell University)|Feb 16, 2016

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

この論文は、ノルム正則化付き一般化線形モデルにおける既存の最適化手法に、プライマル・デュアル証明と収束速度の保証を追加する、アルゴリズムに依存しないフレームワークを導入する。新しいリプシッツ化テクニックを用いることで、元の問題を変更せずにグローバルに定義されたデュアルギャップを実現し、lasso、エラスティックネット、グループlasso、およびTV正則化問題に対して、新たな収束速度を達成する。

ABSTRACT

We propose an algorithm-independent framework to equip existing optimization methods with primal-dual certificates. Such certificates and corresponding rate of convergence guarantees are important for practitioners to diagnose progress, in particular in machine learning applications. We obtain new primal-dual convergence rates, e.g., for the Lasso as well as many L1, Elastic Net, group Lasso and TV-regularized problems. The theory applies to any norm-regularized generalized linear model. Our approach provides efficiently computable duality gaps which are globally defined, without modifying the original problems in the region of interest.

研究の動機と目的

• 大規模な機械学習における、複雑な最適化アルゴリズムに対する信頼できる収束診断の欠如に対処する。
• 凸最適化問題に対する、アルゴリズムに依存しない一般化されたプライマル・デュアル証明を計算するための方法を提供する。
• 元の問題やその最適解を変更せずに、計算的に効率的でグローバルに定義されたデュアルギャップを実現する。
• 従来の強い凸性および有限和問題にとどまらない、広範なノルム正則化付き一般化線形モデルのクラスにまで拡張された既存の双対性フレームワークを提供する。
• データに依存する、よりタイトな収束速度を達成し、先行研究の各座標依存性ではなく、データ行列の特異値ノルムに依存する。

提案手法

• 任意のノルム正則化付き一般化線形モデルに適用可能な、凸共役双対性に基づくプライマル・デュアルフレームワークを提案する。
• 従来この性質を欠いていた問題に対しても、グローバルに定義されたデュアルギャップを可能にする、新しいリプシッツ化技術を導入する。
• 元の問題を変更せずに、双対からプライマルへの写像と強凸性の議論を用いて収束速度を導出する。
• lasso、エラスティックネット、グループlasso、および全変動正則化問題に対して、新しい収束速度を導出する。
• 一部の先行手法とは異なり、反復の平均化を必要とせず、任意の反復でデュアルギャップが計算可能であることを保証する。
• 共役関数とフェンケル双対性を活用し、データ行列の特異値ノルムに基づいたタイトでデータに依存する収束境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 機械学習における広範な凸最適化問題に対して、アルゴリズムに依存しないプライマル・デュアル証明を提供できるか？
• RQ2 元の問題やその解を変更せずに、グローバルに有効で計算可能なデュアルギャップを定義できるか？
• RQ3 各座標の性質ではなく、データ行列の特異値ノルムに依存する、よりタイトな収束速度を達成できるか？
• RQ4 従来の強い凸性および有限和問題にとどまらない、L1、エラスティックネット、TV正則化モデルを含む双対性フレームワークを拡張できるか？
• RQ5 SDCAのような手法が要請する反復の平均化を回避できるか、収束保証においてその必要性を排除できるか？

主な発見

• 提案されたフレームワークは、元の問題やその最適解を変更せずに、ノルム正則化付き一般化線形モデルに対してグローバルに定義されたデュアルギャップを計算可能にする。
• lasso、エラスティックネット、グループlasso、および全変動正則化問題に対して、データ行列の特異値ノルムに依存する新たなプライマル・デュアル収束速度が確立された。
• 平均化された反復を必要とせず、加速されたSDCAと同等の収束保証を達成する。
• SDCAの範囲を超えて、非強い凸正則化子と一般凸損失関数を扱える。
• 任意の反復でデュアルギャップが効率的に計算可能であり、実務家が使用するための信頼できる停止基準および診断ツールとして機能する。
• 強凸性とデュアルギャップ計算を保証するために、一般的に用いられる人工的L2正則化項の追加を回避できる。