[論文レビュー] Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling

Zeyuan Allen-Zhu, Zheng Qu+2 more|arXiv (Cornell University)|Dec 30, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用数 22

ひとこと要約

本稿では、勾配降下法の高速化のための非一様サンプリング戦略を提案する。各座標を滑らかさパラメータの平方根に比例する確率で選択することで、既存手法と比較して最大√nの高速化を達成する。この手法は非強凸および強凸問題の両方で収束速度を向上させ、学習済み回帰（ERM）および線形系において理論的・実験的妥当性を確認した。

ABSTRACT

Accelerated coordinate descent is widely used in optimization due to its cheap per-iteration cost and scalability to large-scale problems. Up to a primal-dual transformation, it is also the same as accelerated stochastic gradient descent that is one of the central methods used in machine learning. In this paper, we improve the best known running time of accelerated coordinate descent by a factor up to $\sqrt{n}$. Our improvement is based on a clean, novel non-uniform sampling that selects each coordinate with a probability proportional to the square root of its smoothness parameter. Our proof technique also deviates from the classical estimation sequence technique used in prior work. Our speed-up applies to important problems such as empirical risk minimization and solving linear systems, both in theory and in practice.

研究の動機と目的

• 非加速設定では非一様サンプリングの利点が知られているものの、加速座標降下法における効率的サンプリング戦略の欠如に取り組む。
• サンプリング分布の再設計により、既存の最先端手法を上回る加速座標降下法の収束速度を向上させる。
• 古典的な推定系列手法とは異なる新しい理論枠組みを提供し、より緊密な収束バインディングを可能にする。
• 実世界のデータセットおよび合成線形系において実用的な高速化を示し、特に滑らかさが非一様な状況で有効であることを確認する。
• 新規手法と既存の加速手法（例：APCG）との関係を確立し、異なるパrameter選択下での相対的性能を明確にする。

提案手法

• 各座標 i を、その i 番目の座標の滑らかさパラメータ Li に比例する確率で選択する非一様サンプリング分布を提案する。
• 先行研究で用いられる古典的な推定系列フレームワークを避ける新しい証明技術を開発し、より緊密な収束解析を可能にする。
• 新しいサンプリングルールをモーメンタムベースの更新スキームに組み込んだ、修正された加速座標降下法（NU ACDMns）を導入する。
• 非強凸および強凸設定の両方で収束速度を分析し、∑√Li および σ（強凸性パラメータ）の観点からバインディングを導出する。
• 非強凸目的関数に対して Lβ 範囲に一般化し、収束速度とロバストネスの間で柔軟なトレードオフを可能にする。
• ERM問題（news20, w8a, covtype）および線形系において、ACDM, APCG, およびランダム化カツチャルツ法と比較して、本手法の有効性を実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 座標の滑らかさに基づく非一様サンプリング戦略が、既存手法を上回る加速座標降下法の収束速度を向上させられるか？
• RQ2 加速座標降下法における最適なサンプリング分布は何か？かつ、従来の均一または Li 比例ルールとは異なるか？
• RQ3 滑らかさ分布が異なる多様なデータセットにおいて、本手法は APCG や ACDM といった最先端アルゴリズムと比較して実際どれほど優れているか？
• RQ4 滑らかさパラメータが非一様な状況下でも、理論的高速化因子 √n が実世界の応用で成立するか？
• RQ5 非強凸設定における Lβ 範囲の β の選択が性能に与える影響は何か？どの β 値が実用的なトレードオフを最も良く満たすか？

主な発見

• 選択確率が √Li に比例する提案された非一様サンプリングルールは、最悪ケースにおいて ACDM より最大 √n の理論的高速化を達成する。
• 非強凸問題では、本手法が O(∑√Li / √ε · ||x₀ − x*||) の収束速度を達成し、ACDM の O(√n ∑Li / √ε · ||x₀ − x*||) よりも向上する。
• 強凸ケースでは、本手法が O(∑√Li / √σ · log(1/ε)) の収束速度を達成し、ACDM の O(√n ∑Li / √σ · log(1/ε)) よりも高速である。
• ERM データセット（news20, w8a, covtype）における実験結果から、NU ACDMns は ACDM を上回り、特に滑らかさが非一様な状況では APCG と同等の性能を示す。
• 合成線形系では、A の行ノルムが非一様な場合（r が小さい）に高速化が顕著に現れ、r = 10% の場合に理論的高速化要因が 1.74 に達する。
• NU ACDMns の性能は Lβ 範囲の β 値に強く依存せず、非一様データセットでは一般的に β が小さい（例：β = 0）ほど実用的に優れている。