[論文レビュー] Let's Make Block Coordinate Descent Go Fast: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji+1 more|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques参考文献 85被引用数 29

ひとこと要約

本稿では、ガウス＝サザンウェルを凌駂数の新しいグリーディブロック選択ルール、大規模なスパースブロックにおける効率的なメッセージパッシング、アクティブセットの複雑度バウンド、および最適な多様体同定による超線形収束を用いて、ブロック座標降下（BCD）法の高速化を実現した。最小二乗法、ロジスティック回帰、L1正則化問題において顕著な高速化が確認された。

ABSTRACT

Block coordinate descent (BCD) methods are widely-used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can lead to significantly faster BCD methods. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using variable blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with a sparse dependency between variables; and (iv) consider optimal manifold identification, which leads to bounds on the active set complexity of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

研究の動機と目的

• 大規模最適化におけるブロック座標降下（BCD）法の収束速度を向上させること。
• ガウス＝サザンウェルなどの既存ルールよりも、1イテレーションあたりの進捗を保証する新しいグリーディブロック選択戦略を開発すること。
• 変数の依存関係におけるスパarsityを活用して、スパース構造におけるメッセージパッシングを用いて、大規模ブロックにおける行列更新やニュートン更新を効率的に計算できること。
• BCDのアクティブセット複雑度に対する理論的バウンドを確立し、超線形収束が発生する条件を特定すること。
• 最小二乗法、L1正則化回帰、ロジスティック回帰を含む主要な機械学習問題において、実用的な性能向上を示すこと。

提案手法

• 進捗の予測に基づいてブロックを優先順に選択する新しいグリーディブロック選択ルールを提案し、ガウス＝サザンウェルを上回る収束速度を実現する。
• 変数間のスパースな依存関係を活用して、メッセージパッシング技術を導入し、大規模ブロックにおける更新計算を効率化する。
• 多様体同定を用いたアクティブセット複雑度の分析により、特定の条件下でBCDが有限時間内に最適なアクティブセットを同定できることを示した。
• 特にスパース解を有する問題において、BCDが超線形収束を示す条件を導出した。
• 変数ブロックサイズの変動に対応できるように提案されたルールを実装し、実用的かつ効率的に適用可能であることを確認した。
• 最小二乗法、ロジスティック回帰、多クラスロジスティック回帰、ラベル伝播、L1正則化問題に対する数値実験を通じて、理論的主張の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 ガウス＝サザンウェルのルールを上回る1イテレーションあたりの進捗を保証するグリーディブロック選択ルールを設計できるか？
• RQ2 メッセージパッシングを活用して、BCDにおける大規模スパースブロックにおける更新計算を効率的に行えるか？
• RQ3 BCDの理論的アクティブセット複雑度は何か？ 有限時間での終了を導く条件は何か？
• RQ4 特にスパース解を有する問題において、BCDがどのような条件下で超線形収束を達成するか？
• RQ5 提案手法は、多様な機械学習問題において顕著な高速化を達成できるか？

主な発見

• 提案されたグリーディブロック選択ルールは、ガウス＝サザンウェルのルールを常に上回る1イテレーションあたりの進捗を示し、収束速度が向上した。
• メッセージパッシングにより、スパース問題における行列更新やニュートン更新の計算が効率化され、計算コストが低減した。
• アクティブセット複雑度のバウンドが確立され、有利な条件下ではBCDが有限時間内に最適なアクティブセットを同定できることを示した。
• スパース解を有する問題において、超線形収束が達成され、一部のケースでは有限時間での終了が観測された。
• 数値実験により、最小二乗法、ロジスティック回帰、L1正則化問題を含む全テスト問題で顕著な高速化が確認された。
• 提案手法は良好にスケーリングされ、メモリ使用量も低く抑えられ、大規模設定におけるBCDの主な利点を維持した。