[論文レビュー] Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji+1 more|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、より速いグリーディブロック選択ルール、大規模スパースブロックにおける効率的なメッセージパッシング、およびスーパー線形収束を可能にするアクティブセット複雑度解析を導入することで、ブロック座標降下（BCD）を高速化する。問題の構造を活用し、よりタイトな進行境界を用いることで、L1正則化最小二乗、ロジスティック回帰、ラベル伝播問題において顕著な高速化を実現した。

ABSTRACT

Block coordinate descent (BCD) methods are widely used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can significantly improve the progress made by each BCD iteration. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using "variable" blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with sparse dependencies between variables; and (iv) consider optimal active manifold identification, which leads to bounds on the "active-set complexity" of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

研究の動機と目的

• 大規模最適化におけるブロック座標降下（BCD）のブロック選択、パーティショニング、更新ルールに関する体系的かつ包括的な研究の不足に対処する。
• 標準のガウス＝サザンウェルルールよりも1イテレーションあたりの進捗を保証する、新たなグリーディブロック選択戦略を提案し、収束速度を向上させる。
• 変数間のスパースな依存関係を活用して、メッセージパッシング技術を用いて大規模ブロックにおける行列更新やニュートン更新を効率的に計算できるようにする。
• アクティブセット複雑度の分析を通じて、スパース解に対してBCDがどのようにスーパー線形収束または有限回の終了を達成するかの条件を確立する。
• LASSO、ロジスティック回帰、ラベル伝播を含む多様な機械学習問題において、実験的検証を提供する。

提案手法

• リプシッツ定数を組み込んだ一般化されたグリーディブロック選択ルールを提案し、標準のガウス＝サザンウェル＝リプシッツルールを拡張することで、1イテレーションあたりの進捗をより大きく保証する。
• 変数間のスパースな依存関係を活用して、メッセージパッシングアルゴリズムを導入し、大規模ブロックにおける行列更新やニュートン更新を効率的に計算する。
• アクティブセット複雑度分析のフレームワークを構築し、BCDが最適なアクティブ多様体を素早く特定できることを示し、スーパー線形収束をもたらす。
• 変数ブロックパーティショニングと固定ブロックパーティショニングの戦略を実装し、ブロック形成におけるリプシッツ定数の順序付け、平均化、ソーティングの実験的評価を実施する。
• 非滑らかな問題（例：L1正則化）に対応するため、ラインサーチとプロキシマル更新に加え、プロジェクション付きニュートン法および2メトリックプロジェクション法を用いる。
• 正確な値が計算しにくい場合に性能を向上させるために、リプシッツ定数（$L_b$）の実用的近似を導入する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ情報を取り入れたグリーディブロック選択ルールは、標準のガウス＝サザンウェルルールに比べ、1イテレーションあたりの進捗において優れていると言えるか？
• RQ2 メッセージパッシング技術を活用することで、BCDにおけるスパース構造を持つ大規模ブロックにおいて、効率的な更新をどのように実現できるか？
• RQ3 BCDがどのような条件下でスーパー線形収束を達成するのか。また、アクティブセット複雑度をどのように境界化することでその挙動を説明できるか？
• RQ4 固定 vs. 変動ブロックパーティショニング、および順序付け方法などの異なるブロックパーティショニング戦略が、グリーディBCDの性能に与える影響は何か？
• RQ5 確率的ブロック選択ルールはスパース問題において性能を著しく劣化させるが、より知的な選択によりその影響を軽減できるか？

主な発見

• リプシッツ定数を組み込んだ提案されたグリーディブロック選択ルールは、標準のガウス＝サザンウェルルールを常に上回り、テストしたすべての問題でより速い収束を達成した。
• メッセージパッシングにより、特にラティス構造や近隣点構造を持つラベル伝播のようなスパース問題において、大規模ブロックにおける行列更新やニュートン更新を効率的に計算できるようになった。
• L1正則化最小二乗問題など、スパース解を有する問題では、急速なアクティブセット同定に起因してスーパー線形収束が観察された。
• 正確なアクティブセット検出により、一部のケースで最適解での有限回の終了が達成されたことが、アクティブセット複雑度の境界によって裏付けられた。
• 大規模ブロックサイズでは、リプシッツ近似手順（LA）が、グローバルな$L_b$推定値が緩い場合に、ナイーブな上界に比べて性能を著しく向上させた。
• スパース問題では、反復的に非アクティブまたはすでにゼロの変数が選択されるため、確率的ブロック選択は性能が著しく劣り、ステップ状の収束曲線が観察された。