[論文レビュー] A Unified Algorithmic Framework for Block-Structured Optimization Involving Big Data

Mingyi Hong, Meisam Razaviyayn+2 more|arXiv (Cornell University)|Nov 9, 2015

Sparse and Compressive Sensing Techniques参考文献 82被引用数 35

ひとこと要約

この論文は、ビッグデータ応用における大規模かつブロック構造を持つ最適化のための統一的アルゴリズム的手法として、ブロック逐次上界最小化（BSUM）フレームワークを導入する。目的関数のサロゲート上界を個々のブロックごとに逐次最小化することで、BCD、CCCP、NMFといったよく知られた手法を一般化・統一し、凸および非凸問題において強力な収束保証のもとで、効率的で分散型・並列処理可能な実装を可能にする。

ABSTRACT

This article presents a powerful algorithmic framework for big data optimization, called the Block Successive Upper bound Minimization (BSUM). The BSUM includes as special cases many well-known methods for analyzing massive data sets, such as the Block Coordinate Descent (BCD), the Convex-Concave Procedure (CCCP), the Block Coordinate Proximal Gradient (BCPG) method, the Nonnegative Matrix Factorization (NMF), the Expectation Maximization (EM) method and so on. In this article, various features and properties of the BSUM are discussed from the viewpoint of design flexibility, computational efficiency, parallel/distributed implementation and the required communication overhead. Illustrative examples from networking, signal processing and machine learning are presented to demonstrate the practical performance of the BSUM framework

研究の動機と目的

• 変数が巨視的かつ構造が複雑なビッグデータ向けに、効率的でスケーラブルな最適化アルゴリズムを設計する課題に対処する。
• BCD、CCCP、NMF、EM、BCPGといった多様な既存のアルゴリズムを、一つの整合的で一貫したアルゴリズム的フレームワークに統合する。
• 通信オーバーヘッドを最小限に抑えることで、現代の並列および分散コンピューティングアーキテクチャへの実用的導入を可能にする。
• 非凸および非滑らか関数を含む一般の条件下でも、フレームワークの理論的収束保証を提供する。
• カスタマイズ可能なブロック選択ルール、ステップサイズ戦略、問題分解を通じて、柔軟なアルゴリズム設計を促進する。

提案手法

• 変数および制約が分離可能なブロック構造を持つ最適化問題に定式化する。
• 各イテレーションで、他のブロックを固定した状態で、目的関数の凸上界近似（サロゲート関数）を1つ以上のブロックに対して最小化する。
• 収束を保証するため、固定または減少するステップサイズ戦略を用いたブロック単位の更新ルールを採用する。
• 収束速度の向上を図るため、確率的選択とガウス＝サザンデル（G-So）ルールに基づくブロック選択を両方サポートする。
• 部分問題が分解可能で通信オーバーヘッドが最小限に抑えられるようにすることで、並列および分散実装を可能にする。
• 線形または非線形の結合制約を扱うためにラグランジュ緩和とデュアル更新を統合するが、非線形ケースでは収束が困難である。

実験結果

リサーチクエスチョン

• RQ1 一貫したアルゴリズム的フレームワークによって、ビッグデータ分析で用いられる多様なブロック構造最適化手法を統一できるか？
• RQ2 非凸および非滑らか問題に対して収束を保証できるように、BSUMフレームワークをどのように設計できるか？
• RQ3 並列および分散実装において、ブロック選択およびステップサイズの最適戦略は何か？
• RQ4 通信遅延が分散BSUMにおける収束に与える影響は何か？非同期更新は性能向上に寄与するか？
• RQ5 収束性を維持したまま、非線形結合制約を扱えるようにBSUMフレームワークを拡張できるか？

主な発見

• BSUMフレームワークは、BCD、CCCP、NMF、EM、BCPGといったよく知られたアルゴリズムを、一つの理論的枠組みに一般化・統一する。
• 減少ステップサイズの使用を含む、やや厳しい仮定のもとで、非凸および非滑らか問題に対しても、静止点への収束を保証する。
• BSUMの並列実装は顕著な高速化を達成できるが、通信遅延の影響により、ノード数に比例した線形的な収束スケーリングは達成できない。
• ブロック選択ルールの選択（例：確率的 vs. G-So）は収束速度に顕著な影響を与え、G-Soは一般的に確率的選択を上回る性能を示す。
• 結合制約を伴う問題では、素朴なBCD風の拡張は凸設定ですら失敗し、ラグランジュベースのアプローチは遅い二重ループアルゴリズムをもたらす。
• 適切なサロゲート関数を選択することで、部分問題の分解とノード間通信の最小化を通じて、効率的な分散計算を実現できる。