[論文レビュー] Communication-Efficient Distributed SVD via Local Power Iterations

Xiang Li, Shusen Wang+2 more|arXiv (Cornell University)|Feb 19, 2020

Matrix Theory and Algorithms参考文献 55被引用数 6

ひとこと要約

本稿では、同期コストを低減するために通信ラウンドごとに複数回の局所的パワー反復を実行する通信効率の良い分散SVDアルゴリズム、LocalPowerを提案する。固有ベクトルの整合性を保つために直交プロクラステス変換（OPT）または符号固定を用い、通信間隔を段階的に短縮することで、理論的に通信複雑度を $p$ 倍低減し、少ない通信ラウンドで高精度解に収束する。

ABSTRACT

We study distributed computing of the truncated singular value decomposition problem. We develop an algorithm that we call exttt{LocalPower} for improving communication efficiency. Specifically, we uniformly partition the dataset among $m$ nodes and alternate between multiple (precisely $p$) local power iterations and one global aggregation. In the aggregation, we propose to weight each local eigenvector matrix with orthogonal Procrustes transformation (OPT). As a practical surrogate of OPT, sign-fixing, which uses a diagonal matrix with $\pm 1$ entries as weights, has better computation complexity and stability in experiments. We theoretically show that under certain assumptions exttt{LocalPower} lowers the required number of communications by a factor of $p$ to reach a constant accuracy. We also show that the strategy of periodically decaying $p$ helps obtain high-precision solutions. We conduct experiments to demonstrate the effectiveness of exttt{LocalPower}.

研究の動機と目的

• データが複数のノードに分散配置されている場合の分散切り捨てSVDにおける高い通信コストを軽減すること。
• 同期頻度を低減することで、大規模SVDにおけるスケーラビリティと壁時計時間の短縮を図ること。
• 通信頻度を減らしても収束性と精度を維持できる安定的かつ効率的なアルゴリズムの開発。
• 実用的条件下での通信複雑度低減の理論的裏付けと収束保証の提供。
• 局所的更新、固有ベクトルの整合化技術、および適応的通信間隔の有効性を実験的に検証すること。

提案手法

• アルゴリズムは、$m$ 個のワーカーノードに等分割してデータ行列 $\mathbf{A} \in \mathbb{R}^{n \times d}$ を分割し、通信ラウンドごとに $p$ 回の局所的パワー反復を実行することで、同期頻度を低減する。
• 各ラウンドの局所的更新後、サーバーは直交プロクラステス変換（OPT）を用いて各ノードの局所的固有ベクトル行列を整合化し、安定性と収束性を向上させる。
• OPTの計算コストを低減する代替手法として、符号固定が用いられる。符号固定は、$\pm 1$ 要素を持つ対角行列を適用することで固有ベクトルを整合化するもので、より高い安定性と低い計算複雑度を実現する。
• 減衰戦略が導入され、局所反復回数 $p$ が時間経過とともに周期的に減少することで、収束精度が向上し、発散を回避する。
• 部分空間反復と直交反復の原理を活用し、理論的分析により、一定精度を維持するための通信ラウンド数が $\tilde{\mathcal{O}}(1/p)$ に低減することを示す。
• 実世界のデータセットを用いて評価し、OPT、符号固定、および通常のLocalPowerのバリエーションを、$p$ と $m$ の変動条件下で比較した。

実験結果

リサーチクエスチョン

• RQ1 通信ラウンドごとに複数回の局所的パワー反復を実行することで、分散SVDに必要な通信ラウンド数を顕著に削減できるか？
• RQ2 直交プロクラステス変換または符号固定による固有ベクトルの整合化は、分散SVDにおける収束性と安定性にどのように影響するか？
• RQ3 減衰戦略を用いた通信間隔の調整は、LocalPowerの最終解の精度を向上させるか？
• RQ4 実際の応用において、符号固定はOPTに比べて計算効率と数値的安定性に優れているか？
• RQ5 ワーカーノード数 $m$ の変化が、LocalPowerの収束性と誤差に与える影響は何か？

主な発見

• 減衰戦略を用いたLocalPowerは、大多数のデータセットでほぼゼロの誤差を達成し、高精度解への収束を示した。
• OPTの代わりに符号固定を用いることで、計算コストを最大50%まで削減しながらも、同等の精度を維持でき、実用的代替手段として有効である。
• 特に $p=4$ の場合、減衰戦略を用いたLocalPowerは13のデータセットすべてで最小の誤差を達成し、A9aでは平均誤差3.11e-04、Covtypeでは4.95e-05を記録した。
• 減衰戦略を用いない場合、$p$ が大きくなると誤差が増加し、頻繁な局所的更新と整合化なしでは性能が劣化するという理論的予測が裏付けられた。
• 整合化や減衰戦略を導入しない通常のLocalPowerは、$p$ が大きい場合、特にA9aやIjcnn1のようなデータセットでしばしば発散するため、安定化技術の必要性が明確になった。
• ワーカーノード数 $m$ が小さいほど誤差が低くなる傾向があり、より少ないがより強力なノードを用いることで通信効率が向上することが示された。