[論文レビュー] Coded Federated Computing in Wireless Networks with Straggling Devices and Imperfect CSI

Sukjong Ha, Jingjing Zhang+2 more|arXiv (Cornell University)|Jan 16, 2019

Cooperative Communication and Network Coding参考文献 18被引用数 7

ひとこと要約

本稿では、ラグランジュ符号化とハイブリッドシャッフル戦略を用いて、遅延するデバイスと不完全なチャネル状態情報（CSI）を同時に扱う、無線ネットワーク向けの符号化されたフェデレーテッドコンピューティングフレームワークを提案する。符号化マルチキャスティングと協調伝送をスーパーポジション符号化と統合することで、高SNR条件下で合計遅延（計算と通信の合計）を最小化する。特に不完全なCSI下でも、スーパーポジション符号化が従来の手法を上回ることを示している。

ABSTRACT

Distributed computing platforms typically assume the availability of reliable and dedicated connections among the processors. This work considers an alternative scenario, relevant for wireless data centers and federated learning, in which the distributed processors, operating on generally distinct coded data, are connected via shared wireless channels accessed via full-duplex transmission. The study accounts for both wireless and computing impairments, including interference, imperfect Channel State Information, and straggling processors, and it assumes a Map-Shuffle-Reduce coded computing paradigm. The total latency of the system, obtained as the sum of computing and communication delays, is studied for different shuffling strategies revealing the interplay between distributed computing, coding, and cooperative or coordinated transmission.

研究の動機と目的

• 無線フェデレーテッドコンピューティングシステムにおける遅延するデバイスと不完全なCSIの課題に対処する。
• 共有無線チャネルにおける計算遅延と通信遅延の合計として、システム全体の遅延をモデル化する。
• 遅延するデバイスの影響と無線障害の両方を軽減する、符号化と伝送戦略の統合を設計する。
• 現実的な無線環境下で、符号化マルチキャスティング、協調伝送、スーパーポジション符号化といった異なるシャッフル戦略の性能を評価する。
• 合計エンドツーエンド遅延を最小化するための、符号化ゲイン、協調ゲイン、CSI精度の間のトレードオフを定量化する。

提案手法

• 遅延するデバイスの影響を軽減するため、入力データにラグランジュ符号化を適用したマップ・シャッフル・リダクスフレームワークを採用する。
• 遅延するデバイスが存在する状況でも堅牢なデータ回復を可能にするために、繰り返し符号化を用いる。
• 3つのシャッフル戦略を実装する：符号化マルチキャスティング、ゼロフォーリングプレフィングを用いた協調伝送、不完全なCSIに対するスーパーポジション符号化。
• 通信遅延を高SNR近似でモデル化し、遅延が信号対雑音比に対数的に比例することを仮定する。
• 計算遅延（非遅延デバイス数に依存）と通信遅延（シャッフル戦略に依存）を統合し、合計遅延指標を構築する。
• CSI精度の変動に応じて、非遅延デバイス数と伝送方式を最適化し、合計遅延を最小化する。

実験結果

リサーチクエスチョン

• RQ1 不完全なCSIは、遅延するデバイスを有する無線フェデレーテッドコンピューティングシステムの遅延にどのように影響するか？
• RQ2 不完全なCSI下で、符号化マルチキャスティングと協調伝送の間で、シャッフル遅延を低減する最適なトレードオフは何か？
• RQ3 不完全なCSI下で、スーパーポジション符号化は従来の手法と比較してどれほど遅延性能を向上させられるか？
• RQ4 多変数多項式関数の次数がシャッフル遅延および合計遅延に与える影響は何か？
• RQ5 異なるCSI精度レベル下で、合計システム遅延を最小化する最適な非遅延デバイス数は何か？

主な発見

• スーパーポジション符号化に基づくシャッフル戦略は、非遅延デバイス数やCSI精度の値に関わらず、符号化マルチキャスティングおよび協調伝送を常に上回る性能を示す。
• CSI精度パラメータ α = 1（完全なCSI）の場合、スーパーポジション符号化方式はワンショット線形プレフィングと同一の遅延を達成し、完全なCSI下での最適性を裏付けている。
• α = 0（CSIなし）の場合、スーパーポジション符号化方式は符号化マルチキャスティング方式に還元され、CSI品質の変動に適応可能であることを示している。
• 非遅延デバイス数 q = 20 の場合、十分なデバイス数により r₁ = 1 で繰り返し符号化による回復が可能となるため、シャッフル遅延は多項式次数 d に依存しなくなる。
• 合計遅延は、CSI精度およびシステムパラメータに応じて変化する最適な非遅延デバイス数 q で最小化される。
• q = 10 の場合、ラグランジュ符号化における回復閾値 m* の上昇により、多項式次数 d が増加するにつれてシャッフル遅延が増加するが、q = 20 の場合、十分な冗長性があるため、遅延は頭打つ。