[論文レビュー] Coding Method for Parallel Iterative Linear Solver

Yaoqing Yang, Pulkit Grover+1 more|arXiv (Cornell University)|Jun 1, 2017

Stochastic Gradient Optimization Techniques参考文献 33被引用数 9

ひとこと要約

この論文は、分散コンピューティングにおけるスローワーカー効果を軽減するために、誤り訂正符号の原則を活用した並列反復線形ソルバーの符号化計算手法を提案する。先行手法が遅延するワーカーの結果を破棄するのとは異なり、部分的で収束していない結果を含むすべてのワーカー出力を重み付き最小二乗法による復号で統合し、リピケーション法と比較して顕著に低い平均二乗誤差（MSE）を達成する。実世界の個人化PageRank実験では、MSE比の乖離が最大10⁴に達した。

ABSTRACT

Computationally intensive distributed and parallel computing is often bottlenecked by a small set of slow workers known as stragglers. In this paper, we utilize the emerging idea of "coded computation" to design a novel error-correcting-code inspired technique for solving linear inverse problems under specific iterative methods in a parallelized implementation affected by stragglers. Example applications include inverse problems in machine learning on graphs, such as personalized PageRank and sampling on graphs. We provably show that our coded-computation technique can reduce the mean-squared error under a computational deadline constraint. In fact, the ratio of mean-squared error of replication-based and coded techniques diverges to infinity as the deadline increases. Our experiments for personalized PageRank performed on real systems and real social networks show that this ratio can be as large as $10^4$. Further, unlike coded-computation techniques proposed thus far, our strategy combines outputs of all workers, including the stragglers, to produce more accurate estimates at the computational deadline. This also ensures that the accuracy degrades "gracefully" in the event that the number of stragglers is large.

研究の動機と目的

• 遅延するワーカーが性能を低下させ、スループットを制限する分散反復線形ソルバーにおけるスローワーカー効果を解消すること。
• 従来の符号化計算技術が遅延するワーカーの結果を欠損として破棄するという制限を克服すること。
• 遅延ワーカーの数が増加するに従い、精度が滑らかに低下する戦略を設計し、収束速度と解の精度を向上させること。
• 完全に収束していないワーカーからの部分的結果を含め、すべてのワーカー出力を統合することで、実システムへの実用的導入を可能にすること。
• 計算の締切時間内における平均二乗誤差（MSE）の観点から、本手法がリピケーションベースの手法を理論的および実験的に上回ることを示すこと。

提案手法

• 計算を符号化し、元の問題と線形結合問題を複数のワーカーに分散配分することで、冗長性を構築する。
• 構造的符号化方式を採用し、例えば2つの解の和のような結合問題の解を、個々の問題と並列に計算する。
• 収束に近いワーカーに高い重みを割り当てる重み付き最小二乗法による復号を用い、収束していない結果をソフトノイズとして扱う。
• 符号化行列とワーカーの信頼性推定値に基づいて導出される復号行列を含む線形システムを解く形で復号プロセスを定式化する。
• 各ワーカーの収束進捗の推定値に基づき、事前に対角重み行列Λを計算し、復号中に動的重み付けを可能にする。
• パワーピタリオン（個人化PageRank用）や投影勾配降下法（グラフ信号回復用）といった反復ソルバーに統合し、実世界のワークロードと互換性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 非収束の遅延ワーカーを含むすべてのワーカー出力を活用する符号化計算戦略が、反復線形ソルバーにおいてリピケーション法と比較して低い平均二乗誤差（MSE）を達成できるか。
• RQ2 計算の締切時間が延長されるに従い、符号化手法とリピケーション法との間の性能差はどのように変化するか。
• RQ3 遅延ワーカーからの部分的結果を統合しても精度が劣化するのか、それとも依然として解推定に有意義に寄与できるか。
• RQ4 高速ワーカーの部分行列を逆行列計算する際、従来の欠損モデルで見られる悪条件化の問題を回避できるか。
• RQ5 反復ソルバーにおいて、ハードな欠損モデルと比較して、ソフトな重み付き組み合わせを用いることで理論的・実験的にどのような利点が得られるか。

主な発見

• 固定された計算の締切時間内において、本手法はリピケーションベースの手法と比較して平均二乗誤差（MSE）を低減する。MSE比は、締切時間が延長されるに従い無限大に発散する。
• TwitterおよびGoogle Plusの社会的ネットワークを用いた実世界の実験では、2秒の締切時間内において、符号化された個人化PageRankのMSEは、リピケーションベースの手法と比較して最大10⁴倍小さくなった。
• 本手法は滑らかな劣化を実現する：多数の遅延ワーカーが存在しても、解の精度が急激に低下するのではなく、滑らかに低下する。
• 従来の符号化計算技術が遅延ワーカーの結果を破棄するのに対し、本手法はすべてのワーカー出力を完全に活用するため、より高い耐障害性と精度を達成する。
• ワーカー固有の信頼性重みを用いた重み付き最小二乗法による復号プロセスは、高速ワーカーの部分行列の逆行列計算に伴う悪条件化の問題を回避する。
• 符号化および復号の計算複雑度は、O(nkN) に比例する。ここで、nはワーカー数、kは符号化問題の数、Nは問題サイズである。この複雑度は、大規模なグラフ問題に対しても実用的である。