[論文レビュー] Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning.

Tingting Tang, Ramy E. Ali+4 more|arXiv (Cornell University)|Jul 27, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用数 4

ひとこと要約

本稿では、遅延するワーカー（straggler）の緩和とデータプライバシーをコード計算により実現し、同時に検証可能計算を用いてByzantineワーカーを検出する、分離型フレームワークである検証可能符号化計算（Verifiable Coded Computing, VCC）を提案する。VCCは分散型ロジスティック回帰を3.2×–6.9×高速化し、符号化されていない手法と比較してテスト精度を最大12.6%向上させる。

ABSTRACT

Stragglers, Byzantine workers, and data privacy are the main bottlenecks in distributed cloud computing. Several prior works proposed coded computing strategies to jointly address all three challenges. They require either a large number of workers, a significant communication cost or a significant computational complexity to tolerate malicious workers. Much of the overhead in prior schemes comes from the fact that they tightly couple coding for all three problems into a single framework. In this work, we propose Verifiable Coded Computing (VCC) framework that decouples Byzantine node detection challenge from the straggler tolerance. VCC leverages coded computing just for handling stragglers and privacy, and then uses an orthogonal approach of verifiable computing to tackle Byzantine nodes. Furthermore, VCC dynamically adapts its coding scheme to tradeoff straggler tolerance with Byzantine protection and vice-versa. We evaluate VCC on compute intensive distributed logistic regression application. Our experiments show that VCC speeds up the conventional uncoded implementation of distributed logistic regression by $3.2 imes-6.9 imes$, and also improves the test accuracy by up to $12.6\%$.

研究の動機と目的

• 遅延耐性、Byzantine障害耐性、データプライバシーを密接に結びつけた従来の符号化計算手法がもたらす通信量や計算負荷の高さという限界を解消すること。
• Byzantineノードの検出を遅延対処から分離することで、システムの複雑性を低減し、効率を向上させること。
• ワークロードの要件に応じて遅延耐性とByzantine保護の間で動的なトレードオフを実現すること。
• 符号化計算と検証可能計算を組み合わせることで、分散機械学習のパフォーマンスと精度を向上させること。
• 最小限のオーバーヘッドで、ロジスティック回帰などの実世界の分散機械学習ワークロードへの実用的導入を達成すること。

提案手法

• 符号化フレームワークの分離：符号化計算を遅延耐性とデータプライバシーの目的にのみ使用し、Byzantineノード検出には検証可能計算を用いる。
• 線形符号化技術を用いて、ワーカー間でデータと計算を符号化することで、遅延耐性を確保するとともにプライバシーを保護する。
• 暗号的証明を介して検証可能計算を統合し、符号化スキームに依存せずに悪意あるまたはByzantineなワーカーを検出し隔離する。
• システム状態に応じて符号化パラメータを動的に調整し、遅延耐性とByzantine保護のバランスを取る。
• 2段階の計算モデルを採用：まずワーカーが符号化計算を実行し、次に正しさの証明メカニズムを用いて結果を検証する。
• 符号化（遅延とプライバシー対策）と検証可能計算（Byzantine故障対策）という直交するメカニズムを活用することで、システム全体の複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 遅延耐性とByzantine障害検出を分離することで、分散機械学習におけるシステムオーバーヘッドを低減できるか？
• RQ2 検証可能計算の統合により、符号化の複雑性を増大させることなく、悪意あるワーカーに対するセキュリティがどのように向上するか？
• RQ3 動的符号化パラメータの適応により、遅延耐性とByzantine保護のトレードオフはどの程度改善できるか？
• RQ4 VCCは、従来の符号化されていない分散学習と比較して、ロジスティック回帰においてどの程度のパフォーマンスおよび精度の向上を達成するか？
• RQ5 VCCは、実世界の分散機械学習ワークロードにおいて、データプライバシーを維持しながら正しさと低遅延を確保できるか？

主な発見

• VCCは、従来の符号化されていない分散型ロジスティック回帰実装と比較して、3.2×から6.9×の高速化を達成した。
• フレームワークは、符号化されていないベースラインと比較して、テスト精度を最大12.6%向上させ、モデルのロバスト性が向上していることを示している。
• 符号化と検証を分離することで、従来の統合型符号化計算手法に伴う計算および通信オーバーヘッドが低減された。
• 符号化パラメータの動的適応により、VCCはワークロード要件に応じて遅延耐性とByzantine保護のバランスを取ることができる。
• 検証可能計算の統合により、符号化計算層の効率を損なうことなく、Byzantineワーカーの信頼性高い検出が可能になった。
• VCCは、計算集約的で実世界の分散機械学習ワークロードにおいて、実用的妥当性とパフォーマンスの向上を示した。