[論文レビュー] Generalized Fractional Repetition Codes for Binary Coded Computations

Neophytos Charalambides, Hessam Mahdavifar+1 more|arXiv (Cornell University)|Sep 22, 2021

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、一般化された分数再現コードに基づく数値的に安定したバイナリ符号化勾配符号化方式を提案する。浮動小数点演算を回避することで、分散コンピューティングにおける遅延遅延耐性を強化する。この手法は低複雑度の復号を保証し、非均一なワーカーをサポートし、異なる性能トレードオフを持つ符号化行列乗算へと拡張可能である。

ABSTRACT

This paper addresses the gradient coding and coded matrix multiplication problems in distributed optimization and coded computing. We present a numerically stable binary coding method which overcomes the drawbacks of the extit{Fractional Repetition Coding} gradient coding method proposed by Tandon et al., and can also be leveraged by coded computing networks whose servers are of heterogeneous nature. Specifically, we propose a construction for fractional repetition gradient coding; while ensuring that the generator matrix remains close to perfectly balanced for any set of coded parameters, as well as a low complexity decoding step. The proposed binary encoding avoids operations over the real and complex numbers which are inherently numerically unstable, thereby enabling numerically stable distributed encodings of the partial gradients. We then make connections between gradient coding and coded matrix multiplication. Specifically, we show that any gradient coding scheme can be extended to coded matrix multiplication. Furthermore, we show how the proposed binary gradient coding scheme can be used to construct two different coded matrix multiplication schemes, each achieving different trade-offs.

研究の動機と目的

• 実数または複素数演算に依存する既存の勾配符号化方式における数値的不安定性を解消すること。
• 浮動小数点演算を回避し、ワーカー間で負荷を均等に分配する決定論的でバイナリ符号化手法の開発。
• sが耐えられる遅延ワーカー数であるとき、(s+1) が n を割り切らないという制限的仮定を超えて、分数再現符号化を一般化すること。
• 特に大規模な分散システムにおいて、大きな復号行列を事前に計算しないで効率的なオンライン復号を可能にすること。
• 勾配符号化方式を符号化行列乗算へと拡張するフレームワークを確立し、性能と複雑度の異なるトレードオフを実現すること。

提案手法

• s+1 が n を割り切らない場合でも、バランスの取れた生成行列を維持する一般化された分数再現符号化（GFRC）構成を提案。これにより、ワーカー間でのタスク配分が均等に保証される。
• 0と1の上でのバイナリ符号化を採用し、浮動小数点演算に起因する数値的不安定性を排除。これにより、分散勾配計算における固定小数点演算が可能になる。
• 事前に大きな復号行列を構築しない低複雑度のオンライン復号アルゴリズムを設計。計算オーバーヘッドを低減する。
• 異なる計算速度を有する非均一なワーカーを考慮したタスク割り当て戦略を提案。これにより、すべてのワーカーの期待完了時間が等しくなるようにする。
• 勾配の加法的構造と行列積の性質を活用し、任意の正確な勾配符号化方式を符号化行列乗算方式に変換するフレームワークを確立。
• 提案されたバイナリ勾配符号化から、それぞれ異なるリペア帯域幅と計算負荷のトレードオフを達成する2つの異なる符号化行列乗算方式を導出。

実験結果

リサーチクエスチョン

• RQ1 浮動小数点演算に依存せずに、分散システムにおける勾配符号化の数値的安定性をどのように確保できるか？
• RQ2 s+1 が n を割り切らない場合でも、負荷バランスと復号効率を維持しながら、分数再現符号化を一般化できるか？
• RQ3 提案されたバイナリ符号化は、異なる計算能力を有する非均一なワーカー環境に対応できるようにどのように適合できるか？
• RQ4 勾配符号化と符号化行列乗算の関係は何か？また、一方を他方に変換する方法は？
• RQ5 提案された勾配符号化方式を符号化行列乗算に適用する際、生じる性能トレードオフは何か？そして、それらはどのように最適化できるか？

主な発見

• 提案された一般化された分数再現符号化は、(s+1)∤n であってもバランスの取れた生成行列を維持し、ワーカー間で均等なタスク配分を保証する。
• バイナリ符号化方式は浮動小数点演算を回避するため、勾配計算における数値的不安定性が解消され、固定小数点実装が可能になる。
• 復号プロセスは、大きな復号行列を事前に計算しないことで低複雑度を達成し、最小限のメモリオーバーヘッドでオンライン復号が可能になる。
• 計算能力の異なる非均一なワーカー環境に対応するため、すべてのワーカーの期待完了時間が等しくなるようにタスクを割り当てることで、計算非均一性に起因するバイアスを軽減する。
• 任意の正確な勾配符号化方式は、符号化および復号ステップの簡単な変更により、符号化行列乗算方式に変換可能であり、遅延耐性を持つ行列乗算が実現可能である。
• 提案されたフレームワークから、リペア帯域幅と計算負荷の異なる2つの異なる符号化行列乗算方式が導出され、それぞれ異なるトレードオフを達成している。