[論文レビュー] Coordinate Descent Face-Off: Primal or Dual?

Dominik Csiba, Peter Richtárik|arXiv (Cornell University)|May 29, 2016

Stochastic Gradient Optimization Techniques参考文献 6被引用数 8

ひとこと要約

本稿は、L2正則化付き経験的リスク最小化における原始的および双対的ランダム化座標降下法（RCD）の、厳密な理論的および実験的比較を提供しており、データ構造（特にスパarsityと特徴量の分布）が、従来の直感を逆転させることを示している。原始的RCDはn ≫ dの状況でも双対的RCDを上回る可能性があり、逆に双対的RCDはd ≫ nの状況でも原始的RCDを上回る可能性がある。驚くべきことに、1つのサンプリング戦略が反復回数と全体の計算複雑度の両方を最小化する。

ABSTRACT

Randomized coordinate descent (RCD) methods are state-of-the-art algorithms for training linear predictors via minimizing regularized empirical risk. When the number of examples ($n$) is much larger than the number of features ($d$), a common strategy is to apply RCD to the dual problem. On the other hand, when the number of features is much larger than the number of examples, it makes sense to apply RCD directly to the primal problem. In this paper we provide the first joint study of these two approaches when applied to L2-regularized ERM. First, we show through a rigorous analysis that for dense data, the above intuition is precisely correct. However, we find that for sparse and structured data, primal RCD can significantly outperform dual RCD even if $d \ll n$, and vice versa, dual RCD can be much faster than primal RCD even if $n \ll d$. Moreover, we show that, surprisingly, a single sampling strategy minimizes both the (bound on the) number of iterations and the overall expected complexity of RCD. Note that the latter complexity measure also takes into account the average cost of the iterations, which depends on the structure and sparsity of the data, and on the sampling strategy employed. We confirm our theoretical predictions using extensive experiments with both synthetic and real data sets.

研究の動機と目的

• L2正則化付き経験的リスク最小化における原始的RCDと双対的RCDの優劣が、さまざまなデータ環境下でどのように異なるかを解明すること。
• n ≫ dのとき原始的RCDが優れているという一般的な直感と、d ≫ nのとき双対的RCDが優れているという直感が、スパースまたは構造的データにおいても成り立つかどうかに疑問を呈すること。
• 反復回数と全体の期待計算複雑度の両方を最小化する統一されたサンプリング戦略を特定すること。
• データ構造（スパarsity、特徴量の分布）と原始的・双対的RCDの相対的性能の関係を結ぶ理論的枠組みを提供すること。
• 合成データおよび実世界のデータセット（ニュース、白血病データなど）を用いた広範な実験により理論的予測を検証すること。

提案手法

• 損失関数の滑らかさと凸性の仮定に基づき、L2正則化付き経験的リスク最小化の原始的および双対的定式化におけるRCD収束速度の理論的分析。
• データ行列の構造、特にXおよびX^Tの固有値スペクトルに依存する収束バウンダリーの導出により、性能差を決定づける単一の量が得られる。
• スパarsityと1反復あたりの計算コストを考慮した、反復回数と全体の期待計算複雑度の両方を最適化する統一されたサンプリング戦略の導入。
• 制御されたスパarsity（nnz ∈ {1%, 10%, 100%}）を持つ合成データと、実データセット（news, leukemia）を用いた実験的評価により理論的予測の検証。
• Xに含まれる非ゼロ要素を何回走査するかに基づく実行時間比較と、反復ごとの誤差追跡により収束速度の評価。
• 理論的バウンダリーに基づく最悪ケース行列構築を用いて、性能指標の妥当性とロバストネスの検証。

実験結果

リサーチクエスチョン

• RQ1 n ≫ dのとき原始的RCDが優れているという一般的な直感は、スパースまたは構造的データに対しても成り立つか？
• RQ2 1反復あたりのコストが異なるにもかかわらず、1つのサンプリング戦略が反復回数と全体の期待計算複雑度の両方を最小化できるか？
• RQ3 データのスパarsityと特徴量の分布（例：非ゼロパターンの非一様性）は、原始的RCDと双対的RCDの相対的性能にどのように影響するか？
• RQ4 理論的収束バウンダリーと、非一様なスパarsityを持つ実世界データセットにおける実験的性能の一致度はどの程度か？
• RQ5 データ行列とその転置行列から導かれる単一の構造的量を用いて、原始的RCDと双対的RCDの理論的性能差を定量化できるか？

主な発見

• 密行列の場合、従来の直感が成り立つ：n ≫ dのとき原始的RCDが双対的RCDを上回り、d ≫ nのとき双対的RCDが原始的RCDを上回る。
• スパースで構造的データの場合、n ≫ dであっても原始的RCDが大幅に双対的RCDを上回る可能性があり、逆にd ≫ nであっても双対的RCDが原始的RCDをはるかに上回る可能性がある。
• 原始的RCDと双対的RCDの性能は、データ行列とその転置行列に関連する単一の構造的量によって決定され、スパarsityと特徴量の分布の相互作用を捉えている。
• 1つのサンプリング戦略が、1反復あたりのコストの違いを考慮しても、反復回数の上限と全体の期待計算複雑度の両方を最小化する。
• ニュースデータセット（d ≫ n、密度0.03%）における実験結果は、特徴量の非一様スパarsityのため双対的RCDが高速であることを確認し、理論的予測と一致する。
• 白血病データセット（d ≫ n、100%密度）では原始的RCDが高速で、実行時間比T_P / T_D ≈ 0.5である。これは、密行列環境下での原始的アプローチの理論的優位性を裏付けている。