[論文レビュー] On Matching Pursuit and Coordinate Descent

Francesco Locatello, Anant Raj+5 more|arXiv (Cornell University)|Mar 26, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、両者に共通するアフィン不変性に基づく収束速度の確立により、マッチングプルーリング（MP）と座標降下（CD）の分析を統一する。MPおよびステープスCDにおける、既知で最もタイトな線形および非線形収束速度を達成し、凸目的関数におけるMPおよびステープスCDに対する最初の加速された$\mathcal{O}(1/t^2)$収束速度を証明する。このフレームワークにより、ランダムな方向ではなく勾配に最も近い方向（ステープス方向）を用いることで収束性能が向上する。

ABSTRACT

Two popular examples of first-order optimization methods over linear spaces are coordinate descent and matching pursuit algorithms, with their randomized variants. While the former targets the optimization by moving along coordinates, the latter considers a generalized notion of directions. Exploiting the connection between the two algorithms, we present a unified analysis of both, providing affine invariant sublinear $\mathcal{O}(1/t)$ rates on smooth objectives and linear convergence on strongly convex objectives. As a byproduct of our affine invariant analysis of matching pursuit, our rates for steepest coordinate descent are the tightest known. Furthermore, we show the first accelerated convergence rate $\mathcal{O}(1/t^2)$ for matching pursuit and steepest coordinate descent on convex objectives.

研究の動機と目的

• 凸最適化におけるマッチングプルーリングと座標降下アルゴリズムの統一された収束解析を確立すること。
• アフィン不変性に基づく解析を用いて、ステープス座標降下のタイトな非線形および線形収束速度を導出すること。
• 凸目的関数におけるマッチングプルーリングおよびステープス座標降下に対して、最初の加速収束速度（$\mathcal{O}(1/t^2)$）を提供すること。
• 統一されたフレームワークを通じて、プルーリング手法におけるステープス方向とランダム方向のトレードオフを分析すること。
• ランダムな更新ではなく、グリーディ（ステープス）更新を用いることで、既存の確率的座標降下の収束速度を改善すること。

提案手法

• ヒルベルト空間における原子を用いた座標降下の一般化を可能にするアフィン不変性に基づく解析フレームワークを導入し、原子ノルムを用いて一般化された方向を定義する。
• 原子ノルムの性質と勾配の整合性を用いて、滑らかで強く凸な目的関数におけるマッチングプルーリングの収束速度を確立する。
• 標準基底原子を用いた特別なケースとしてのステープス座標降下を関連づけることで、タイトな線形および非線形収束速度を導出する。
• モーメンタムとラインサーチを用いた新しい加速マッチングプルーリングアルゴリズムを提案し、凸目的関数において$\mathcal{O}(1/t^2)$収束を達成する。
• ランダムプルーリングをステープスプルーリングの近似版とみなすことにより、計算コストと収束速度のトレードオフを可能にする。
• フランク＝ウォルフ、MP、CDを統一的に接続するフレームワークを用い、これらの手法間で理論的保証を移転可能にする。

実験結果

リサーチクエスチョン

• RQ1 マッチングプルーリングと座標降下の両者を統一的に分析できる収束解析を開発することは可能か？ その際、両者の類似点と相違点を的確に捉えられるか？
• RQ2 ステープス座標降下の、可能な限りタイトな収束速度は何か？ また、既存の結果と比較するとどうなるか？
• RQ3 凸目的関数におけるマッチングプルーリングアルゴリズムで、加速収束（$\mathcal{O}(1/t^2)$）を達成することは可能か？
• RQ4 次元数に依存する要因を考慮した場合、ステープスプルーリングとランダムプルーリングの収束速度の違いは何か？
• RQ5 MPとCDの関係を活用することで、グリーディ更新を用いることで、確率的座標降下の収束速度を改善できるか？

主な発見

• 本稿は、ステープス座標降下の既知で最もタイトな線形および非線形収束速度を確立し、Stichら（2017年）およびNutiniら（2015年）の先行研究における定数を改善した。
• マッチングプルーリングの凸目的関数における最初の知られている加速収束速度$\mathcal{O}(1/t^2)$を証明した。これは分野における顕著な進展である。
• 加速マッチングプルーリングアルゴリズムは、非加速バージョンよりも収束が速く、数回の反復後にはその高速化が顕著に現れる。
• 特に高次元設定では、線形部分空間の内因的次元数に依存する良好な依存関係を有するため、ステープスマッチングプルーリングはランダムプルーリングよりも高速に収束する。
• 合成データおよびハイパースペクトルデータを用いた実験結果により、ステープス更新がランダム更新を上回ること、および加速が後段階の収束を著しく改善することが確認された。
• フレームワークにより、グリーディ座標降下（ステープス方向を用いる）が、環境次元数に依存しないという点で、加速された確率的座標降下の収束速度を上回ることが示された。