[論文レビュー] Coded Iterative Computing using Substitute Decoding

Yaoqing Yang, Malhar Chaudhari+2 more|arXiv (Cornell University)|May 15, 2018

Stochastic Gradient Optimization Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、低密度生成行列（LDGM）符号を用いた、分散システムにおける耐障害性の高い反復計算を可能にする新しい符号化計算技術「サブスティチュートデコーディング」を提案する。LDGM符号は誤り訂正能力に劣るが、反復手法の収束性を利用し、直前の反復結果を側情報として用いることで欠落したデータを再構築する。その結果、生成行列の各行に2〜3個の非ゼロ要素しか持たない状況でも、ノイズレスに近い収束速度を達成する。

ABSTRACT

In this paper, we propose a new coded computing technique called "substitute decoding" for general iterative distributed computation tasks. In the first part of the paper, we use PageRank as a simple example to show that substitute decoding can make the computation of power iterations solving PageRank on sparse matrices robust to erasures in distributed systems. For these sparse matrices, codes with dense generator matrices can significantly increase storage costs and codes with low-density generator matrices (LDGM) are preferred. Surprisingly, we show through both theoretical analysis and simulations that when substitute decoding is used, coded iterative computing with extremely low-density codes (2 or 3 non-zeros in each row of the generator matrix) can achieve almost the same convergence rate as noiseless techniques, despite the poor error-correction ability of LDGM codes. In the second part of the paper, we discuss applications of substitute decoding beyond solving linear systems and PageRank. These applications include (1) computing eigenvectors, (2) computing the truncated singular value decomposition (SVD), and (3) gradient descent. These examples show that the substitute decoding algorithm is useful in a wide range of applications.

研究の動機と目的

• スパース行列に対する符号化分散計算における密度の高い符号化の高コストなストレージと計算を低減すること。
• 分散システムにおけるワーカーの欠失および遅延（ストラグル）に耐えうる耐障害性の高い反復計算を実現すること。
• 低密度生成行列（LDGM）符号が、新しいデコーディング戦略と組み合わせることで、ほぼ最適の収束レートを達成できることを示すこと。
• 符号化計算の適用範囲を線形方程式系にとどまらず、固有ベクトル計算、切断特異値分解（truncated SVD）、勾配降下法へと拡張すること。

提案手法

• 部分的な結果と直前の反復の出力を側情報として用いる、サブスティチュートデコーディングと呼ばれるデコーディング戦略を提案する。
• 直交射影を用いる：1つは利用可能な部分的結果の空間への射影（Proj₁）、もう1つはその直交補空間への射影（Proj₂）であり、次回の反復を再構築する。
• 2段階の再構築を採用する：x_{t+1} = Proj₁[f(x_t)] + Proj₂[x_t]、ここでf(x_t)は反復関数（例：行列-ベクトル乗算）である。
• 結合された線形系とベクトル化を用いて誤差伝搬を分析し、部分的生成行列のランクに依存する再帰的誤差バウンドを導出する。
• 部分的生成行列のランクが高くなるにつれて、0に近づく乗法的誤差係数δを定義する。
• スペクトル解析と期待値バウンドを用いて、誤差が(1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂²の形で減少することを示し、δは射影の品質に依存する。

実験結果

リサーチクエスチョン

• RQ1 誤り訂正能力が弱いにもかかわらず、LDGM符号はスパース行列の反復符号化計算に効果的に利用可能か？
• RQ2 サブスティチュートデコーディングは、反復手法の収束特性をどのように活用して分散計算における欠失を補償するか？
• RQ3 サブスティチュートデコーディングの理論的誤差減少率は何か？ノイズレス収束にどれほど近づけるか？
• RQ4 サブスティチュートデコーディングはPageRankを越えて、SVD や勾配降下法といった他の反復的タスクへ一般化可能か？
• RQ5 生成行列の密度（例：各行に2個または3個の非ゼロ要素）が、欠失状況下での収束性能に与える影響は何か？

主な発見

• 生成行列の各行に非ゼロが2つしか存在しないLDGM符号を用いた符号化反復計算は、一定割合のワーカー欠失下でも、レプリケーションや非符号化手法よりも著しく優れた収束レートを達成する。
• 生成行列の各行に3つの非ゼロ要素を持つ場合、符号化システムの収束レートはノイズレス計算に非常に近づき、ほぼ最適な性能を達成する。
• 再構築された反復の誤差は、非消失ワーカーによって形成される部分的生成行列がフルランクに近づくにつれて、乗法的係数δが0に近づくことで減少する。
• 理論的解析により、誤差バウンドは拡張符号行列のスペクトルノルムと射影の品質に依存し、収束は(1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂²に従うことが示された。
• サブスティチュートデコーディングにより、最小距離が低い符号であっても、スパース符号を反復計算に使用しても収束速度を損なわずに行える。
• この手法は固有ベクトル計算、切断特異値分解、勾配降下法などに一般化可能であり、PageRankを越える広範な適用性を示している。