[論文レビュー] Unwrapping ADMM: Efficient Distributed Computing via Transpose Reduction

Tom Goldstein, Gavin Taylor+2 more|arXiv (Cornell University)|Apr 8, 2015

Sparse and Compressive Sensing Techniques参考文献 6被引用数 5

ひとこと要約

本稿では、行列転置演算を用いて全データセット全体におけるグローバルな最小二乗問題を分散的に解くことで、コンSENSUS ADMMに比べて高価な内部ループを排除し、収束速度を向上させる、転置低減ADMMを提案する。データの非均一性が強い環境でも、通信オーバーヘッドを低減し、同期化を改善することで、7,000コア以上を用いた5TBのデータセットで最大7倍の高速化を達成した。

ABSTRACT

Recent approaches to distributed model fitting rely heavily on consensus ADMM, where each node solves small sub-problems using only local data. We propose iterative methods that solve {\em global} sub-problems over an entire distributed dataset. This is possible using transpose reduction strategies that allow a single node to solve least-squares over massive datasets without putting all the data in one place. This results in simple iterative methods that avoid the expensive inner loops required for consensus methods. To demonstrate the efficiency of this approach, we fit linear classifiers and sparse linear models to datasets over 5 Tb in size using a distributed implementation with over 7000 cores in far less time than previous approaches.

研究の動機と目的

• 大規模分散最適化におけるコンセンサスADMMの非効率性、特に高価な内部反復処理と通信ボトルネックを解消すること。
• 転置低減技術を活用して、分散データセット上でグローバルな部分問題を単一マシンで解けるようにすること。
• コンセンサス手法が困難な非均一データ環境でも、収束速度とスケーラビリティを向上させること。
• グローバル行列演算を活用することで、分散モデルフィッティングにおける通信オーバーヘッドと計算時間を低減すること。

提案手法

• D^T D を分散的に計算するための転置低減を用い、すべてのデータを1つのノードに集約せずにグローバル最小二乗問題を解けるようにする。
• ADMMに、座標ごとに分離可能な部分問題を適用し、反復的な部分問題の解法を避けることで、閉形式での解法が可能になる。
• 中央集権的なソルバーが、局所的なグラム行列 D_i^T D_i を集約して D^T D を構築し、各反復で一度だけ逆行列を計算する。
• 各反復で単一ノードでの計算モデルを採用することで、コンセンサスADMMと比較して同期の問題を軽減する。
• m \gg n の場合、D^T D は D よりも小さくなることを利用し、グローバル最適化が可能になることを活かす。
• 通信効率の良いプロトコルを実装し、コンセンサスADMMの O(Nn) と比較して、各反復で O(m) のデータ送信で済ませる。

実験結果

リサーチクエスチョン

• RQ1 すべての分散データセットに対するグローバル部分問題を、すべてのデータを1つのノードに移動させずに、効率的に解くことは可能か？
• RQ2 通信、計算、収束速度の観点から、転置低減はコンセンサスADMMに比べてどのように異なるか？
• RQ3 コンセンサスADMMが困難な非均一データ環境でも、提案手法は効率を維持できるか？
• RQ4 計算コア数の増加に伴い、転置低減ADMMのスケーラビリティはどの程度向上するか？
• RQ5 部分問題の閉形式解法により、ADMMにおける高価な内部反復処理の必要性を排除できるか？

主な発見

• 転置低減ADMMは、7,000コア以上を用いた5TBのデータセットで、コンセンサスADMMと比較して最大7倍の高速化を達成した。
• 起動コストが高かったにもかかわらず、各反復の計算量が低く、同期化が良好なため、実行時間（wall time）が顕著に短縮された。
• GSC-IIデータセットのような非均一データ環境では、グローバル問題の解法のおかげで、転置低減ADMMがコンセンサスADMMを3〜5倍速くした。
• 実際の通信コストは、各反復で O(m) のデータを送信しているにもかかわらず、ブロッキングが減少し、同期化が良好なため低かった。
• コア数の増加に伴い、壁時刻（wall time）が非線形的（サブ線形的）に増加した一方で、コンセンサスADMMは通信ボトルネックのためスケーリングが著しく悪化した。
• 座標ごとに分離可能な部分問題により、閉形式解法が可能となり、コンセンサスADMMの実行時間の大部分を占める反復的内部ループが不要になった。