[論文レビュー] Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing

Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali|arXiv (Cornell University)|Sep 17, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、Berrut補間を用いて任意の関数を近似することで、多項式関数に限定されない、数値的に安定した、遅延耐性のある符号化計算フレームワーク「Berrut Approximated Coded Computing (BACC)」を提案する。BACCは、各ワーカーの通信量と計算負荷を低減しつつ、符号化されていない方式やレプリケーション方式よりも高速に収束する一方で、任意の数のサーバーで最大s台の遅延ノードにも耐えられる。

ABSTRACT

One of the major challenges in using distributed learning to train complicated models with large data sets is to deal with stragglers effect. As a solution, coded computation has been recently proposed to efficiently add redundancy to the computation tasks. In this technique, coding is used across data sets, and computation is done over coded data, such that the results of an arbitrary subset of worker nodes with a certain size are enough to recover the final results. The major challenges with those approaches are (1) they are limited to polynomial function computations, (2) the size of the subset of servers that we need to wait for grows with the multiplication of the size of the data set and the model complexity (the degree of the polynomial), which can be prohibitively large, (3) they are not numerically stable for computation over real numbers. In this paper, we propose Berrut Approximated Coded Computing (BACC), as an alternative approach, which is not limited to polynomial function computation. In addition, the master node can approximately calculate the final results, using the outcomes of any arbitrary subset of available worker nodes. The approximation approach is proven to be numerically stable with low computational complexity. In addition, the accuracy of the approximation is established theoretically and verified by simulation results in different settings such as distributed learning problems. In particular, BACC is used to train a deep neural network on a cluster of servers, which outperforms repetitive computation (repetition coding) in terms of the rate of convergence.

研究の動機と目的

• 多項式関数に限定され、実数上での数値的不安定性を示す既存の符号化計算手法の限界を解消すること。
• 任意の関数と任意の数のサーバーで動作する、数値的に安定した汎用的な符号化計算フレームワークを構築すること。
• データレプリケーションと比較して、ワーカーノードごとの通信量と計算負荷を低減すること。
• 従来のラグランジュ符号化手法がバナッハ行列の悪条件性により失敗する深層学習などの実数計算シナリオでの実用的導入を可能にすること。
• 遅延ノードの影響を受ける状況下でも、深層ニューラルネットワークの学習において優れた収束速度と精度を示すことを実証すること。

提案手法

• BACCは、実数上での数値的安定性に優れるバーリング補間（Berrut補間）をコアな近似技術として採用し、符号化されたデータから勾配を再構築する。
• 各ワーカーノードは、K個のミニバッチの線形結合に対してBerrut重みを用いて勾配を計算する。Berrut重みは補間ノードから導出され、実数上での安定性を保証する。
• マスターノードは、s台の遅延ノードを除く任意のN−s台のワーカーからの結果を収集し、Berrut補間行列の逆行列を用いて完全な勾配を復号する。
• 符号化ラベルは、Berrut係数を用いたone-hotラベルの正規化された和として形成され、近似勾配を用いたマルチラベル分類を可能にする。
• 符号化データ上でシグモイド交差エントロピー損失と誤差逆伝播を実行し、復号処理はマスターノードでのみ実施することで、ワーカーごとの計算負荷を最小限に抑える。
• Berrutの有理関数補間を用いることで、バナッハ行列の悪条件性を回避し、多項式基底に起因する問題を解消する。

実験結果

リサーチクエスチョン

• RQ1 多項式関数に限定されないが、実数上での数値的安定性を保つ符号化計算フレームワークを設計できるか？
• RQ2 BACCは、遅延ノードが存在する状況下で、符号化されていない方式やデータレプリケーション方式と比較して、分散深層学習においてより高速に収束するか？
• RQ3 BACCにおけるワーカーごとの通信量と計算負荷は、データレプリケーション方式や符号化されていない方式と比較してどの程度か？
• RQ4 Berrut補間の数値的安定性が、分散学習における勾配更新の精度と収束に与える影響は何か？
• RQ5 固定されたサーバー数Nに対して、モデルの複雑さに関係なく、任意の数の遅延ノードsをBACCが耐えられるか？

主な発見

• MNIST、Fashion-MNIST、CIFAR-10の各データセットにおいて、遅延ノードが存在する状況下で、BACCはデータレプリケーション方式や符号化されていない方式と比較して、指定されたテスト精度に到達するまでの収束が速い。
• N=3、s=1およびN=5、s=2のLeNetアーキテクチャにおいて、BACCは壁時計時間で目標精度に到達するまでの速度がデータレプリケーション方式を上回っているが、後続でわずかに上回る。
• 符号化されていない方式は最も速く収束するが、遅延ノードが存在する場合に完全なデータが使用されないため、最終的な精度に到達できない。
• BACCは、各ワーカーが1つの符号化サンプルを処理するのに対し、データレプリケーション方式では2つの生データサンプルを処理する必要があるため、ワーカーごとの通信量と計算負荷を低減する。
• 理論的分析により、Berrut補間がバナッハ行列の指数的増大する条件数を回避し、実数計算における数値的安定性を保証することが確認された。
• シミュレーション結果により、BACCの近似精度が検証され、復号された勾配が真の勾配に非常に近いことが示され、効果的なモデル更新が可能であることが確認された。