[論文レビュー] Coordinate Descent with Arbitrary Sampling II: Expected Separable Overapproximation

Zheng Qu, Peter Richtárik|arXiv (Cornell University)|Dec 27, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用数 16

ひとこと要約

本稿では、確率的座標降下法における任意のサンプリングに対して、期待分離過近似（ESO）不等式を導出する一般枠組みを構築する。サンプリング確率行列とデータ依存行列とのハダマード積の固有値を分析することにより、広範な関数クラスに対してESOバウンドを確立し、逐次的および並列的設定の両方における収束複雑性解析の向上と最適なサンプリング設計を可能にする。

ABSTRACT

The design and complexity analysis of randomized coordinate descent methods, and in particular of variants which update a random subset (sampling) of coordinates in each iteration, depends on the notion of expected separable overapproximation (ESO). This refers to an inequality involving the objective function and the sampling, capturing in a compact way certain smoothness properties of the function in a random subspace spanned by the sampled coordinates. ESO inequalities were previously established for special classes of samplings only, almost invariably for uniform samplings. In this paper we develop a systematic technique for deriving these inequalities for a large class of functions and for arbitrary samplings. We demonstrate that one can recover existing ESO results using our general approach, which is based on the study of eigenvalues associated with samplings and the data describing the function.

研究の動機と目的

• 均一またはi.i.d.ケースに限定されない任意のサンプリングに対して、期待分離過近似（ESO）不等式を体系的に導出するための手法を確立すること。
• サンプリング行列とデータ行列の固有値解析に基づく共通の枠組みを提供することで、既存のESO結果を統一的かつ一般化すること。
• 問題構造に適合した最適なサンプリング確率を導出することにより、確率的座標降下法の収束複雑性バウンドをタイトにすること。
• 一般のサンプリングスキーム下でも収束保証が得られる加速的および並列的座標降下法の設計を支援すること。
• dorotheaやw8aなどの実データセットにおける複雑性比較を通じて、改善されたESOパラメータの実用的影響を示すこと。

提案手法

• 本手法は、関数の構造を符号化する行列 $ A $ に基づくデータ依存正定値行列 $ A^\top A $ とサンプリング確率行列 $ P $ のハダマード積の最大固有値および正規化された最大固有値を分析することに依拠する。
• 二次関数 $ f(x) = \|Ax\|^2 $ の場合、ESO不等式は固有値問題に帰着される：$ \mathbb{E}[\|\sum_{i\in\hat{S}} A_i h_i\|^2] \leq h^\top \operatorname{Diag}(p \circ v) h $、ここで $ v $ は $ P \circ A^\top A $ のスペクトル特性から導出される。
• $ P \circ A^\top A $ のスペクトルノルムを用いて一般ESOバウンドを導出し、$ v_i $ の明示的表現（例：均一サンプリングでは $ v_i = \max_i \|A_i\|^2 \cdot \frac{\tau}{n} $）を導出する。非均一サンプリングではより洗練された表現が得られる。
• 重要な技術的アプローチとして、ESOパラメータ $ v $ を $ P \circ A^\top A $ の最大固有値の関数として表現し、$ \|d\|_q $ ノルムを用いた複雑性バウンドの導出を可能にする。
• 複雑性バウンドの条件数を最小化する最適なサンプリング確率 $ p_i $ を導出し、逐次的アルゴリズムでは $ p_i \propto (w_i (x_i^0 - x_i^*)^2)^{1/3} $ の形が得られる。
• 座標をブロックに置き換えてノルムおよび行列構造を調整することにより、本アプローチをブロック座標降下法へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 均一またはi.i.d.ケースを超える任意のサンプリングに対して、ESO不等式を体系的に導出可能か？
• RQ2 サンプリング確率行列とデータ行列のスペクトル特性が、ESOパラメータ $ v $ の決定に果たす役割は何か？
• RQ3 確率的座標降下法の反復複雑性を最小化するための最適なサンプリング確率をどのように導出できるか？
• RQ4 本稿の一般固有値ベースの枠組みを用いて、均一サンプリングに対する既存のESO結果を再導出可能か？
• RQ5 洗練された $ v $ の計算コストとそれによる反復複雑性の低減のトレードオフは何か？

主な発見

• 本稿では、サンプリングの確率行列 $ P $ と $ A^\top A $ のハダマード積の最大固有値を分析することにより、任意のサンプリングに対してESO不等式を体系的に導出する一般手法を確立した。
• dorotheaデータセット（$ \tau = 256 $）において、式60を用いて $ v $ を計算すると、反復複雑性が $ O(256.91 + \frac{256.91}{\lambda} \log(\frac{1}{\epsilon})) $ にまで低下する。一方、式58を用いると $ O(8715.8 + \frac{16.68}{\lambda} \log(\frac{1}{\epsilon})) $ となり、顕著な改善が得られた。
• 最適な逐次的サンプリング確率 $ p_i \propto (w_i (x_i^0 - x_i^*)^2)^{1/3} $ は、複雑性バウンド $ C_{\text{opt}} = \sqrt{2} \|d\|_2^3 / \sqrt{\epsilon} $ をもたらし、$ \|d\|_6 = \|d\|_2 $ の場合、均一サンプリングと比較して最大 $ n $ 倍の改善が可能である。
• w8aデータセットにおいて、式60を用いて $ v $ を計算する時間は、1回のデータパス時間の1.8倍にとどまるが、式57と比較して条件数を約380倍低減した。
• 本フレームワークは、異なる固有値ベースの導出法を用いて、均一サンプリングに対する既知のESO結果を再現し、その一般性と統合的パワーを示した。
• 本手法により、データに依存する非均一サンプリング戦略を用いることで、保証付きでより優れた収束レートを達成できる加速的座標降下法の設計が可能になった。