[論文レビュー] Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference

Jiyuan Tu, Weidong Liu+2 more|arXiv (Cornell University)|Jan 1, 2021

Distributed Sensor Networks and Detection Algorithms被引用数 2

ひとこと要約

本稿では、従来の中央値の中央値（MOM）推定量よりも統計的効率性を向上させつつ計算効率を維持する分散低減中央値の中央値（VRMOM）推定量を提案する。これにより、高速収束性と漸近正規性を備えたByzantine耐性の高い分散推定アルゴリズムが実現可能となり、Byzantine耐性学習における初めての正規性結果を提供する。

ABSTRACT

This paper develops an efficient distributed inference algorithm, which is robust against a moderate fraction of Byzantine nodes, namely arbitrary and possibly adversarial machines in a distributed learning system. In robust statistics, the median-of-means (MOM) has been a popular approach to hedge against Byzantine failures due to its ease of implementation and computational efficiency. However, the MOM estimator has the shortcoming in terms of statistical efficiency. The first main contribution of the paper is to propose a variance reduced median-of-means (VRMOM) estimator, which improves the statistical efficiency over the vanilla MOM estimator and is computationally as efficient as the MOM. Based on the proposed VRMOM estimator, we develop a general distributed inference algorithm that is robust against Byzantine failures. Theoretically, our distributed algorithm achieves a fast convergence rate with only a constant number of rounds of communications. We also provide the asymptotic normality result for the purpose of statistical inference. To the best of our knowledge, this is the first normality result in the setting of Byzantine-robust distributed learning. The simulation results are also presented to illustrate the effectiveness of our method.

研究の動機と目的

• Byzantine耐性の高い分散学習における中央値の中央値（MOM）推定量の低統計的効率性を是正すること。
• 敵対的ノードに対して耐性を保ちつつ、計算効率的で統計的に強力なMOMの代替手法を開発すること。
• 通信ラウンド数が定数である限り、高速収束を達成する分散推定アルゴリズムを構築すること。
• 提案された推定量の漸近正規性を証明し、Byzantine耐性環境下での有効な統計的推定を可能にすること。
• シミュレーションを通じて、VRMOMに基づくアルゴリズムの有効性を実証すること。

提案手法

• 標準MOMよりも推定分散を低減した分散低減中央値の中央値（VRMOM）推定量を提案し、推定の精度を向上させつつ計算の単純さを維持する。
• データをノード間で分割し、局所的平均を計算した後、中央値の中央値集約を安定化させるための分散低減技術を適用する。
• ノード間で局所的推定値のみを交換する分散推定フレームワークを設計し、通信コストを低減するとともに耐性を高める。
• 任意のByzantine行動を受容可能な耐性のある集約ルールとして中央値の中央値を用いる。
• 理論的分析により、推定量が定数の通信ラウンド数で高速収束率を達成することを示す。
• やや弱い正則性条件の下で、VRMOM推定量の漸近正規性を確立し、信頼区間や仮説検定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分散学習において、計算効率を損なわずに中央値の中央値推定量の統計的効率性を向上させることは可能か？
• RQ2 MOMの分散低減版は、分散推定におけるByzantine障害に対しても耐性を保つことができるか？
• RQ3 VRMOMに基づく分散アルゴリズムは、通信ラウンド数が定数である限り高速収束を達成できるか？
• RQ4 Byzantine耐性の高い分散学習の文脈で漸近正規性は達成可能か？ もしそうなら、どのような条件下で達成されるか？
• RQ5 提案されたVRMOMベースのアルゴリズムは、敵対的攻撃下で、既存の頑健推定量と比較して精度と耐性において優れているか？

主な発見

• 提案されたVRMOM推定量は、元の中央値の中央値推定量よりも高い統計的効率性を達成しながらも、計算の単純さを維持している。
• VRMOMに基づく分散推定アルゴリズムは、非常に迅速に収束し、通信ラウンド数が定数である。
• 本稿は、Byzantine耐性の高い分散推定量における初めての漸近正規性結果を確立し、形式的な統計的推定を可能にした。
• シミュレーション結果から、VRMOM手法が敵対的ノードの行動に対しても精度を維持できることを示した。
• Byzantine障害が存在する状況において、推定分散と収束速度の両面で、標準MOMを上回る性能を示した。