[論文レビュー] Distributed Newton Can Communicate Less and Resist Byzantine Workers

Avishek Ghosh, Raj Kumar Maity+1 more|arXiv (Cornell University)|Jun 15, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用数 5

ひとこと要約

この論文は、通信効率が高く、Byzantineに耐性のある分散型の2次最適化アルゴリズムであるCOMRADEを提案する。通信量を削減するため、各ワーカーは1イテレーションあたり1つのベクトル（局所ヘッセ行列の逆行列と勾配の積）を送信する。一方、悪意あるワーカーの検出にはノルムに基づくフィルタリングを用いる。わずかな統計誤差で線形・2次収束を達成するため、2次最適化とByzantine耐性を両立する最初の手法である。

ABSTRACT

We develop a distributed second order optimization algorithm that is communication-efficient as well as robust against Byzantine failures of the worker machines. We propose COMRADE (COMunication-efficient and Robust Approximate Distributed nEwton), an iterative second order algorithm, where the worker machines communicate only once per iteration with the center machine. This is in sharp contrast with the state-of-the-art distributed second order algorithms like GIANT [34] and DINGO[7], where the worker machines send (functions of) local gradient and Hessian sequentially; thus ending up communicating twice with the center machine per iteration. Moreover, we show that the worker machines can further compress the local information before sending it to the center. In addition, we employ a simple norm based thresholding rule to filter-out the Byzantine worker machines. We establish the linear-quadratic rate of convergence of COMRADE and establish that the communication savings and Byzantine resilience result in only a small statistical error rate for arbitrary convex loss functions. To the best of our knowledge, this is the first work that addresses the issue of Byzantine resilience in second order distributed optimization. Furthermore, we validate our theoretical results with extensive experiments on synthetic and benchmark LIBSVM [5] data-sets and demonstrate convergence guarantees.

研究の動機と目的

• 分散型2次最適化における高い通信コストとByzantine障害という二重の課題に対処すること。
• ワーカーからパラメータサーバーへの送信回数を1回に抑えることで、分散ニュートン法の通信コストを低減すること。
• 単純なノルムベースのフィルタリング機構により、Byzantineワーカーに対する耐性を実現すること。
• 圧縮と故障耐性を組み合わせながらも、高速な収束（線形・2次レート）を維持すること。
• 任意の凸損失関数のもとで収束性と統計誤差に関する理論的保証を確立すること。

提案手法

• ワーカーは局所ヘッセ行列の逆行列と局所勾配の積を計算し、1イテレーションあたり1つのd次元ベクトルをセンターに送信する。
• センター機械は、ベクトルのノルムに基づくロバスト平均化ルールを用いて、これらのベクトルを統合し、Byzantineワーカーをフィルタリングする。
• さらに通信量を削減するために、ρ-近似圧縮器を局所更新ベクトルに適用する。
• スケッチの議論を用いて、ヘッセ逆行列・勾配積の標本平均がグローバルニュートンステップを近似することを示す。
• Byzantine耐性は、異常に大きなノルムを持つ更新を破棄するしきい値ルールにより達成され、最大α < 1/2のワーカーがByzantineであると仮定する。
• 理論的分析により、ヘッセ行列のリプシッツ連続性と圧縮の有界性のもとで、有界な統計誤差のもとで線形・2次収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 分散型2次最適化アルゴリズムは、通信効率とByzantine障害に対する耐性の両方を満たすことができるか？
• RQ2 2次最適化手法の通信コストを、1イテレーションあたり2回の送信から1回に削減できるか？
• RQ3 ノルムベースのフィルタリングは、分散ニュートン法におけるByzantine行動を効果的に検出し、緩和できるか？
• RQ4 圧縮とByzantine攻撃は、2次最適化の収束速度と統計誤差にどのような影響を与えるか？
• RQ5 圧縮とByzantine障害の両方のモデルのもとで、2次最適化手法に理論的収束保証を確立できるか？

主な発見

• COMRADEは1ワーカー1イテレーションあたり1回の送信に抑え、GIANT や DINGO といった最先端手法と比較してO(d)ビットの通信量削減を達成する。
• 標準的な仮定のもとで線形・2次収束レートを達成し、圧縮とByzantineワーカーによるわずかな統計誤差で収束が保証される。
• α < 1/2の条件下で、ノルムベースのしきい値ルールにより、悪意ある更新を高確率でフィルタリングすることでByzantine耐性を実現する。
• 理論的分析により、圧縮とByzantineワーカーがもたらす誤差はε²_comp,byzおよびζ²_comp,byzで有界であり、Byzantineワーカーの割合と圧縮の品質に比例して増加する。
• LIBSVMデータセットを用いた実験により、ガウス分布攻撃およびランダムラベル攻撃の両方において収束保証が確認され、20％のByzantineワーカーでも安定した精度を維持する。
• ρ-近似圧縮器（例：QSGD, top-k）の使用により、収束性能に影響を与えずにさらなる通信量削減が可能となる。