[論文レビュー] Federated Nonconvex Sparse Learning

Qianqian Tong, Guannan Liang+2 more|arXiv (Cornell University)|Dec 31, 2020

Sparse and Compressive Sensing Techniques参考文献 34被引用数 5

ひとこと要約

本稿では、分散型で非IIDのデータを前提としたフェデレーテッド環境における非凸スパース学習のための通信効率の高い2つのアルゴリズム、Federated Hard Thresholding (Fed-HT) と Federated Iterative Hard Thresholding (FedIter-HT) を提案する。両手法とも線形収束を達成し、最適なスパース推定器の回復を保証しており、通信ラウンド数を著しく削減しながらも高い精度を維持する。

ABSTRACT

Nonconvex sparse learning plays an essential role in many areas, such as signal processing and deep network compression. Iterative hard thresholding (IHT) methods are the state-of-the-art for nonconvex sparse learning due to their capability of recovering true support and scalability with large datasets. Theoretical analysis of IHT is currently based on centralized IID data. In realistic large-scale situations, however, data are distributed, hardly IID, and private to local edge computing devices. It is thus necessary to examine the property of IHT in federated settings, which update in parallel on local devices and communicate with a central server only once in a while without sharing local data. In this paper, we propose two IHT methods: Federated Hard Thresholding (Fed-HT) and Federated Iterative Hard Thresholding (FedIter-HT). We prove that both algorithms enjoy a linear convergence rate and have strong guarantees to recover the optimal sparse estimator, similar to traditional IHT methods, but now with decentralized non-IID data. Empirical results demonstrate that the Fed-HT and FedIter-HT outperform their competitor - a distributed IHT, in terms of decreasing the objective values with lower requirements on communication rounds and bandwidth.

研究の動機と目的

• 分散型で非IIDのデータ、かつプライバシーが重要な状況下における非凸スパース学習の課題に対処すること。
• 既存の IHT 手法が中央集権的でIIDのデータを仮定しているのに対し、現実のフェデレーテッド学習環境においてはその制限を克服すること。
• 通信ラウンド数と帯域幅の使用量を削減しながら、収束性とスパース性回復を維持する通信効率の高いアルゴリズムの設計。
• 非IIDで分散型のデータ分布下でも、線形収束と最適なスパース推定器の回復を理論的に保証すること。
• 通信ラウンド数を減らした場合の目的関数値の低下という観点から、分散型 IHT に対して優れた性能を実証的に検証すること。

提案手法

• 中央サーバーが局所的なモデル更新を集約した後、ハードスレッディングを適用する Fed-HT を提案。これにより、1ラウンドあたりの通信負荷が低減される。
• 各局所クライアントが毎回の局所更新後にハードスレッディングを適用する FedIter-HT を提案。これにより、より頻繁なスパース性の強制が可能になる。
• 標準的な IHT 更新式を変更してフェデレーテッド学習に統合する。$x_{t+1} = \tilde{\tau}(x_t - \tilde{\rho}_t v_t)$ と表され、ここで $\tilde{\tau}$ は最大 $\tau$ 個のエントリのみを保持するハードスレッディング作用素である。
• FedIter-HT において、トレーニングの安定化と非IID環境下でのクライアントドリフトの低減を図るため、プロキシマルに類似した正則化を導入する。
• クライアントが複数ステップの局所学習を実行してから更新を送信することで、往復通信の回数を最小限に抑える。
• 理論的分析により、非IIDデータ下でも両アルゴリズムの線形収束が保証され、収束速度は条件数とスパースレベルに依存する。

実験結果

リサーチクエスチョン

• RQ1 分散型で非IIDのデータを伴うフェデレーテッド学習環境において、反復的ハードスレッディング（IHT）手法を適応可能にし、収束性とスパース性の保証を維持できるか？
• RQ2 Fed-HT と FedIter-HT は、標準的な分散型 IHT と比較して、通信効率と収束速度の点で優れているか？
• RQ3 非IIDデータ分布は、フェデレーテッド IHT アルゴリズムの収束性と推定精度にどのような影響を与えるか？
• RQ4 提案手法は、フェデレーテッド非凸スパース学習において線形収束と最適なスパース推定器の回復を達成できるか？
• RQ5 通信ラウンド数と内部反復回数のトレードオフは、フェデレーテッド IHT の全体的なトレーニング効率にどのように影響するか？

主な発見

• Fed-HT と FedIter-HT は、非IIDで分散型のデータ下でも、中央集権的 IHT 手法と同等の線形収束レートを達成する。
• Simulation I において、FedIter-HT は分散型 IHT と比較して通信ラウンド数を最大 5 倍まで削減（例：20 vs. 100 ラウンド）し、目的関数値は同等またはより良好である。
• Simulation II では、FedIter-HT は 50 ラウンドで分散型 IHT と同等の目的関数値に到達したのに対し、分散型 IHT は 200 ラウンドを要した。これにより通信ラウンド数が 4 倍削減された。
• 内部反復回数を増やすにもかかわらず、150 ms のネットワーク遅延と 20 μs の局所計算を仮定した場合、通信オーバーヘッドの低減により、Fed-HT と FedIter-HT は分散型 IHT よりも少なくとも 1.6 倍速い。
• ベンチマークデータセット（E2006-tfidf, RCV1, MNIST）において、FedIter-HT は通信ラウンドあたりの目的関数値の低下が他と比較して一貫して優れており、最終的な目的関数値も最低であった。
• 実験結果から、非IIDデータ下では収束経路のランダム性が増加することが示されたが、全データセットにおいて FedIter-HT が最も低い目的関数値の解に収束した。