[論文レビュー] PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent

Cho‐Jui Hsieh, Hsiang‐Fu Yu+1 more|arXiv (Cornell University)|Apr 6, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用数 41

ひとこと要約

この論文では、共有メモリに主変数を維持することで、$\ell_2$正則化モデルの高速かつスケーラブルな学習を可能にする非同期並列確率的双対座標降下法であるPASSCoDeを提案する。ロックを回避し、アトミック演算を使用することで、アトミック書き込みを用いる場合に線形収束を達成し、ロックなしでバックワード誤差解析を実施する。大規模データセットにおいて、先行する並列ソルバーを凌駕する速度とスケーラビリティを実現する。

ABSTRACT

Stochastic Dual Coordinate Descent (SDCD) has become one of the most efficient ways to solve the family of $\ell_2$-regularized empirical risk minimization problems, including linear SVM, logistic regression, and many others. The vanilla implementation of DCD is quite slow; however, by maintaining primal variables while updating dual variables, the time complexity of SDCD can be significantly reduced. Such a strategy forms the core algorithm in the widely-used LIBLINEAR package. In this paper, we parallelize the SDCD algorithms in LIBLINEAR. In recent research, several synchronized parallel SDCD algorithms have been proposed, however, they fail to achieve good speedup in the shared memory multi-core setting. In this paper, we propose a family of asynchronous stochastic dual coordinate descent algorithms (ASDCD). Each thread repeatedly selects a random dual variable and conducts coordinate updates using the primal variables that are stored in the shared memory. We analyze the convergence properties when different locking/atomic mechanisms are applied. For implementation with atomic operations, we show linear convergence under mild conditions. For implementation without any atomic operations or locking, we present the first {\it backward error analysis} for ASDCD under the multi-core environment, showing that the converged solution is the exact solution for a primal problem with perturbed regularizer. Experimental results show that our methods are much faster than previous parallel coordinate descent solvers.

研究の動機と目的

• LIBLINEARで使用される高度に最適化された逐次的DCDアルゴリズムを、共有メモリ型マルチコアシステムで効率的に並列化する課題に対処すること。
• 通信および同期のオーバーヘッドによりスループットが著しく低下する、同期型並列DCD手法の限界を克服すること。
• 元のDCD手法の効率を保ちつつ、主変数と双対変数の両方を維持する非同期並列DCDアルゴリズムを設計すること。
• 共有メモリ制約下で、ロック、アトミック演算、ロックフリー実行といった異なる同期戦略に対する収束性および誤差バウンドを解析すること。
• 提案手法が、大規模データセットにおいて、既存の並列および逐次ソルバーと比較して優れたスループットおよび収束性能を達成することを実証すること。

提案手法

• 3つのバリアントを提案：PASSCoDe-Lock（ミューテックスロックを用いる）、PASSCoDe-Atomic（主双対整合性を保つためにアトミック書き込みを使用）、PASSCoDe-Wild（ロックフリーでアトミック演算なし）。
• 各スレッドは独立してランダムに選択された双対変数を更新し、リアルタイムに更新される共有主変数$\boldsymbol{w}$を用いる。
• PASSCoDe-Atomicではアトミック演算、PASSCoDe-Wildでは誤差解析を用いて、主双対関係$\boldsymbol{w} = \sum_i \alpha_i \boldsymbol{x}_i$を強制する。
• バックワード誤差解析を用いて、PASSCoDe-Wildが正則化項が変更された摂動付き主問題の正確な解に収束することを示す。
• CoCoAやAsySCDと公平な比較が行えるよう、並列初期化フェーズを実装する。
• スループット計算から初期化時間を除外することで、各手法間の計算効率を公正に評価する。

実験結果

リサーチクエスチョン

• RQ1 元のDCD手法の効率を保ちつつ、主変数と双対変数の両方を維持する非同期並列DCDアルゴリズムを設計できるか？
• RQ2 PASSCoDe-Atomicでアトミック演算を使用することで、緩い条件下でも線形収束が保証されるか？
• RQ3 ロックフリー手法（PASSCoDe-Wild）を用いる場合の最終解の品質への理論的影響は何か？また、最適解にどれほど近いか？
• RQ4 PASSCoDeは、CoCoA や AsySCD といった既存の並列ソルバーと比較して、収束速度およびスケーラビリティの面で優れているか？
• RQ5 大規模データセットにおいて、解の品質を損なうことなく、10コアで6–8倍のスループット向上を達成できるか？

主な発見

• PASSCoDe-Wildは、全データセットで10コアを用いて、最良の逐次的基準（LIBLINEAR DCD）に対して6–8倍のスループット向上を達成し、優れたスケーラビリティを示した。
• PASSCoDe-Wildは、アトミック演算のオーバーヘッドが少ないため、PASSCoDe-Atomicよりもわずかに高速であり、密度の高いデータセットでは性能差が拡大した。
• AsySCDは、10コアを用いてもPASSCoDe や LIBLINEAR よりも桁違いに遅く、news20のような小規模データセットを超えてスケーリングできないほどメモリ使用量が高かった。
• PASSCoDe-Atomicは緩い条件下でも線形収束を示し、理論的堅牢性が裏付けられた。
• PASSCoDe-Wildは、正則化項が摂動した主問題の正確な解に収束することを示し、解の品質が最適解に非常に近いことを証明した。
• CoCoAは初期の精度では競争力があるが、最終的にはLIBLINEARと同等の目的関数値に収束するが、PASSCoDeは両者を上回る速度と最終的な目的関数値を達成した。