[論文レビュー] Parallel Coordinate Descent Newton for Large-scale L1-Regularized Minimization.

Yatao Bian, Xiong Li+1 more|arXiv (Cornell University)|Jun 18, 2013

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、特徴量をバンドルに分割し、多次元の近似ニュートンステップを用いることで、並列処理を効率的に行える、大規模なL1正則化最小化のための新規アルゴリズムであるParallel Coordinate Descent Newton (PCDN) を提案する。グローバル収束が保証され、並列度が向上するにつれて収束が速くなる。ベンチマークデータセット上での実験で、精度を損なわずに最先端の手法を上回る速度性能を達成した。

ABSTRACT

The recent years have witnessed advances in parallel algorithms for large scale optimization problems. Notwithstanding demonstrated success, existing algorithms that parallelize over features are usually limited by divergence issues under high parallelism or require data preprocessing to alleviate these problems. In this work, we propose a Parallel Coordinate Descent Newton algorithm using multidimensional approximate Newton steps (PCDN), where the off-diagonal elements of the Hessian are set to zero to enable parallelization. It randomly partitions the feature set into $b$ bundles/subsets with size of $P$, and sequentially processes each bundle by first computing the descent directions for each feature in parallel and then conducting $P$-dimensional line search to obtain the step size. We show that: (1) PCDN is guaranteed to converge globally despite increasing parallelism; (2) PCDN converges to the specified accuracy $\epsilon$ within the limited iteration number of $T_\epsilon$, and $T_\epsilon$ decreases with increasing parallelism (bundle size $P$). Using the implementation technique of maintaining intermediate quantities, we minimize the data transfer and synchronization cost of the $P$-dimensional line search. For concreteness, the proposed PCDN algorithm is applied to $\ell_1$-regularized logistic regression and $\ell_2$-loss SVM. Experimental evaluations on six benchmark datasets show that the proposed PCDN algorithm exploits parallelism well and outperforms the state-of-the-art methods in speed without losing accuracy.

研究の動機と目的

• 高い並列度下で既存の並列的特徴量別最適化アルゴリズムが直面する発散問題と高い同期コストを解消すること。
• ロジスティック回帰やSVMのような大規模なL1正則化学習問題において、スケーラブルかつ効率的な並列処理を可能にすること。
• 最適化プロセスにおいてバンドルサイズ（並列度）が増加しても、グローバル収束性と高速収束率を維持すること。
• P次元のラインサーチにおいて、中間量を効率的に保持することで、データ転送と同期オーバーヘッドを最小限に抑えること。
• 実世界のデータセット上で、解の精度を保持しつつ、最先端の手法に比べて優れた実行時間性能を達成すること。

提案手法

• 特徴量集合をサイズPのb個のバンドルに分割し、各バンドル内で特徴量を並列処理可能にする。
• 各バンドルに対して、ヘッセ行列の対角近似（非対角要素を0に設定）を用いた近似ニュートンステップを用いて、降下方向を並列に計算する。
• 各バンドルごとに逐次的にP次元のラインサーチを実行し、最適なステップサイズを決定することで、降下性と収束性を保証する。
• ラインサーチ段階において、反復間で中間量を保持することで、データ転送と同期コストを削減する。
• L1正則化問題の構造を活用して、効率的な座標別更新とステップサイズ計算を実現する。
• 本手法はℓ1正則化ロジスティック回帰およびℓ2損失SVMに適用され、広範な適用可能性が示された。

実験結果

リサーチクエスチョン

• RQ1 L1正則化最小化のための並列座標降下法は、並列度が向上してもグローバル収束を保証できるか？
• RQ2 対角ヘッセ行列近似を用いた多次元近似ニュートンステップの導入は、収束速度とスケーラビリティを向上させるか？
• RQ3 中間量の保持によって、高次元ラインサーチの同期およびデータ転送コストを最小限に抑えることができるか？
• RQ4 バンドルサイズ（P）の増加に伴い、提案手法の収束速度はどのように変化するか？
• RQ5 PCDNアルゴリズムは、実世界のデータセット上での実行時間性能において、既存の最先端手法を上回り、解の精度を維持できるか？

主な発見

• PCDNは、並列度が向上してもグローバル収束が保証され、従来の並列的特徴量別アルゴリズムの主な制限を克服した。
• 精度εに到達するのに必要な反復回数Tεは、バンドルサイズPが増加するにつれて減少し、収束速度の向上を示している。
• 6つのベンチマークデータセット上で、最先端の手法と比較して、より速い収束と短い実行時間を達成した。
• 高い並列度下でも、PCDNはベースライン手法と同等の解の精度を維持しており、予測性能に劣化は見られなかった。
• 中間量を保持する実装手法により、P次元ラインサーチ段階におけるデータ転送と同期オーバーヘッドが顕著に削減された。
• 実験結果から、PCDNは評価に用いられた6つのベンチマークデータセットすべてにおいて、既存手法を速度面で上回ることが明らかになった。