[論文レビュー] FedDANE: A Federated Newton-Type Method

Tian Li, Anit Kumar Sahu+4 more|arXiv (Cornell University)|Jan 7, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 8

ひとこと要約

FedDANEは、フェデレーテッド・ラーニングにおける低デバイス参加率と統計的非適合性を扱うために、不正確なDANEを適応させたフェデレーテッド・ニュートン型最適化手法を提案する。凸および非凸の目的関数において強い理論的収束保証を持つが、実験的結果では、不正確な勾配推定とデータの非適合性のため、FedAvgおよびFedProxに一貫して劣る性能を示す。

ABSTRACT

Federated learning aims to jointly learn statistical models over massively distributed remote devices. In this work, we propose FedDANE, an optimization method that we adapt from DANE, a method for classical distributed optimization, to handle the practical constraints of federated learning. We provide convergence guarantees for this method when learning over both convex and non-convex functions. Despite encouraging theoretical results, we find that the method has underwhelming performance empirically. In particular, through empirical simulations on both synthetic and real-world datasets, FedDANE consistently underperforms baselines of FedAvg and FedProx in realistic federated settings. We identify low device participation and statistical device heterogeneity as two underlying causes of this underwhelming performance, and conclude by suggesting several directions of future work.

研究の動機と目的

• 既存の手法の収束を妨げる、フェデレーテッド・ラーニングにおける統計的非適合性と低デバイス参加率の課題に対処する。
• 分散ニュートン型手法である不正確なDANEアルゴリズムをフェデレーテッド環境に適応させ、収束の安定性を向上させる。
• 低参加率および非適合データ環境下で、凸および非凸の目的関数に対するFedDANEの理論的収束保証を提供する。
• 実際のフェデレーテッド・ラーニング環境における実用的妥当性を評価するため、FedAvgおよびFedProxと比較してFedDANEを実験的に評価する。
• 勾配補正項および不正確なヘッセ行列近似の限界を特定し、将来的な手法設計を支援する。

提案手法

• 全ネットワークの勾配計算を回避するため、デバイスのサブセットを用いてグローバル勾配を近似することで、不正確なDANEをフェデレーテッド・ラーニングに適応する。
• 局所的なサブ問題を定式化し、プロキシタル項と勾配補正項を含めることで、近似的なニュートン型更新方向を実現する。
• 2ラウンド通信プロトコルを採用：1ラウンド目はデバイスの局所勾配を収集し、2ラウンド目は更新済みモデルをサーバーに送信する。
• プロキシタル項の制御にペナルティパラメータμを導入し、局所サブ問題の強い凸性と安定性を保証する。
• グローバルモデルの更新前に、各デバイスが複数の局所エポックを実行できるようにし、通信と計算のバランスを取る。
• ヘッセ行列とリプシッツ定数に対する緩い仮定の下で、凸および非凸の目的関数に適用し、理論的収束解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 低デバイス参加率および統計的非適合性を伴うフェデレーテッド・ラーニングに、不正確なDANEフレームワークを効果的に適応できるか？
• RQ2 非i.i.d.データを伴う現実的なフェデレーテッド環境下で、FedDANEはFedAvgおよびFedProxよりも高速に収束するか？
• RQ3 デバイス参加率とデータ非適合性は、ベースライン手法と比較してFedDANEの性能にどのように影響するか？
• RQ4 勾配補正項は、FedDANEの実験的性能において果たす役割は何か？実際には悪影響を及ぼす可能性はあるか？
• RQ5 理論的収束が実際の状況でどのように破綻するか、および主な失敗モードは何か？

主な発見

• FedDANEは、FEMNIST、Sent140、Shakespeareを含む合成および実世界のフェデレーテッド・データセットにおいて、トレーニング損失の低減という観点で、常にFedAvgおよびFedProxに劣る性能を示す。
• 78%のデバイス参加率と1回の局所エポックという極めて有利な条件下ですら、FedDANEはFedAvgおよびFedProxの性能を達成できない。
• 性能劣化の主な要因は、低デバイス参加率に起因する不正確な勾配推定と、デバイス間の統計的非適合性である。
• 理論的には有益であるが、実際には不安定性を引き起こし収束を遅くする、FedDANEの勾配補正項が問題を引き起こしている。
• 実験的結果から、勾配補正を含まないがプロキシタル項のみを用いるFedProxが、より優れた性能を達成しており、計算コストも低減されている。
• FedDANEの2ラウンド通信要件は、レイテンシと通信コストを増加させ、理論的利点にもかかわらず実用的利点を著しく低下させている。