[論文レビュー] TMAC: A Toolbox of Modern Async-Parallel, Coordinate, Splitting, and Stochastic Methods

Brent Edmunds, Zhimin Peng+1 more|arXiv (Cornell University)|Jun 14, 2016

Stochastic Gradient Optimization Techniques参考文献 56被引用数 5

ひとこと要約

TMAC は、大規模最適化のためのオープンソース C++11 ツールボックスであり、最新の非同期並列処理、座標法、分割法、確率的アルゴリズムを実装しています。問題を単純な部分問題に分解し、同期的および非同期的並列処理をサポートすることで、マルチコアシステム上で効率的かつスケーラブルな最適化を実現しています。非負値行列分解では 16 スレッドで最大 14.5 倍の高速化が実証されています。

ABSTRACT

TMAC is a toolbox written in C++11 that implements algorithms based on a set of modern methods for large-scale optimization. It covers a variety of optimization problems, which can be both smooth and nonsmooth, convex and nonconvex, as well as constrained and unconstrained. The algorithms implemented in TMAC, such as the coordinate up- date method and operator splitting method, are scalable as they decompose a problem into simple subproblems. These algorithms can run in a multi-threaded fashion, either synchronously or asynchronously, to take advantages of all the cores available. TMAC architecture mimics how a scientist writes down an optimization algorithm. Therefore, it is easy for one to obtain a new algorithm by making simple modifications such as adding a new operator and adding a new splitting, while maintaining the multicore parallelism and other features. The package is available at https://github.com/uclaopt/TMAC.

研究の動機と目的

• 最新の大規模最適化アルゴリズムを実装するための柔軟で拡張可能かつ効率的なツールボックスを提供すること。
• 非同期および並列実行を通じて、マルチコアアーキテクチャ上で高性能でスケーラブルな最適化を可能にすること。
• 凸および非凸、滑らかおよび滑らかでない、制約付きおよび制約なしの最適化問題をサポートすること。
• 最適化手法の科学的表記を模倣することで、新アルゴリズムの迅速なプロトタイピングを促進すること。
• 将来のコンピューティングパラダイム、特にクラスタコンピューティングおよび確率的アルゴリズムへの対応を拡張すること。

提案手法

• TMAC は実行可能ファイル、ドライバ、スケーム、オペレータ、線形代数のレイヤー構造を採用し、アルゴリズム的コンponents を分離してモジュラー開発を可能にしています。
• ADMM や Douglas-Rachford、プライマル・デュアル分割法などのオペレータ分割法を実装し、複雑な問題を単純な部分問題に分解しています。
• さまざまな選択ルール（ランダム、サイクル、グリーディ）を備えた座標更新法をサポートしており、同期的または非同期的に並列実行が可能です。
• C++11 のスレッドライブラリを活用することで、Linux、Mac、Windows の各環境でポータブルかつ効率的なマルチスレッディングを実現しています。
• 数値線形代数演算は BLAS や ScaLAPACK を介して加速され、これらの演算に対しても並列化を拡張可能です。
• 新しいアルゴリズムは、既存のレイヤーを拡張する形で作成可能であり、たとえば新しいオペレータや分割スキームを追加するだけで、コアロジックの再実装なしに実装が可能です。

実験結果

リサーチクエスチョン

• RQ1 一般用途の最適化ツールボックスは、逐次処理と高度に並列化された非同期実行の両方を効果的にサポートするようにどのように設計できるか？
• RQ2 座標更新法やオペレータ分割法といった最新の最適化手法を効率的かつ拡張可能に実装するためのアーキテクチャ的原則は何か？
• RQ3 マルチコアシステム上で高いパフォーマンスを達成しつつ、コードの可読性とモジュラリティを維持するにはどうすればよいか？
• RQ4 非凸および大規模問題において、非同期並列処理によってどの程度のパフォーマンス向上が達成できるか？
• RQ5 確率的アルゴリズム、MPI を用いたクラスタコンピューティング、GUI インターフェースといった将来の拡張機能を、モジュラーかつ拡張可能なフレームワークにどのように統合できるか？

主な発見

• 非負値行列分解において、16 スレッドで 14.51 倍の高速化を達成し、優れたスケーラビリティを示した。
• ポートフォリオ最適化では 16 スレッドで 15.12 倍の高速化を達成し、高い並列効率を確認した。
• k=100 の非負値行列分解においても 16 スレッドで 14.47 倍の高速化を達成し、問題サイズにかかわらず高いパフォーマンスを発揮した。
• コードベースはモジュラーかつ拡張可能であり、新しいアルゴリズムはたとえば新しいオペレータや分割スキームを追加するだけで、1 つのレイヤーのみを変更する形で実装可能である。
• TMAC は凸問題および非凸問題の両方をサポートしており、実世界の問題例としての経験的リスク最小化、SVM、NMF に対しても、実証されたパフォーマンスを示している。
• 将来の拡張として、確率的アルゴリズム、MPI を用いたクラスタコンピューティング、GUI インターフェースの統合が計画されており、現在も活発に開発中である。