[論文レビュー] CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization

Kilian Pfeiffer, Martin Rapp+2 more|arXiv (Cornell University)|Mar 10, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

CoCoFL は、すべてのデバイスで完全なニューラルネットワーク構造を維持しながら、リソース使用量を削減するための通信および計算を考慮したフェデレーテッドラーニングフレームワークを提案する。制限されたデバイスが量子化と統合を用いてより多くのブロックを学習可能となるようにすることで、SOTA（最先端）手法と比較して最大14.9 p.p.高い精度を達成し、特に非IID（非独立同分布）設定下でも公平性とモデル性能の向上を実現する。

ABSTRACT

Devices participating in federated learning (FL) typically have heterogeneous communication, computation, and memory resources. However, in synchronous FL, all devices need to finish training by the same deadline dictated by the server. Our results show that training a smaller subset of the neural network (NN) at constrained devices, i.e., dropping neurons/filters as proposed by state of the art, is inefficient, preventing these devices to make an effective contribution to the model. This causes unfairness w.r.t the achievable accuracies of constrained devices, especially in cases with a skewed distribution of class labels across devices. We present a novel FL technique, CoCoFL, which maintains the full NN structure on all devices. To adapt to the devices' heterogeneous resources, CoCoFL freezes and quantizes selected layers, reducing communication, computation, and memory requirements, whereas other layers are still trained in full precision, enabling to reach a high accuracy. Thereby, CoCoFL efficiently utilizes the available resources on devices and allows constrained devices to make a significant contribution to the FL system, increasing fairness among participants (accuracy parity) and significantly improving the final accuracy of the model.

研究の動機と目的

• 制限されたリソースを有するデバイスが意味的にモデル学習に貢献できるように、フェデレーテッドラーニングにおける公平性を確保すること。
• 低能力デバイスでモデルの複雑さを低下させる既存のサブセットベース手法の限界を克服し、精度の低下と不公平性を回避すること。
• リソース使用量を最適化しながら完全なモデル構造を保持することで、通信・計算・メモリ制約が異なるデバイスでも高精度な学習を可能にすること。
• 偏ったラベル分布が一般的に従来手法の性能を低下させる非IIDデータ設定下での最終モデル精度を向上させること。
• サーバーに依存しないヒューリスティックベースのレイヤー選択メカニズムを構築し、実行時におけるローカルデバイスの制約に適応可能にすること。

提案手法

• CoCoFL は、すべてのデバイスで完全なニューラルネットワークアーキテクチャを維持し、モデルのプルーニングやサブセット学習を回避する。
• 制限されたデバイスでは、勾配計算、活性化の保存、パラメータ更新のサイズを削減するため、レイヤーを選択的に凍結する。
• 凍結されたレイヤーは量子化（例：8ビット整数）され、さらに計算とメモリ使用量を削減する。
• 学習済みのレイヤーはフル精度を維持することで、学習能力とモデル精度を保持する。
• デバイスに依存しないヒューリスティクスが、設計時プロファイリングで得られた実行時パフォーマンスデータ（計算、通信、メモリ）に基づき、実行時に凍結および量子化対象のレイヤーを選択する。
• フレームワークは、量子化された凍結レイヤー（QFF）と統合された凍結レイヤー（FF）の両方をサポートし、統合によりさらにメモリと計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 リソースが非均質なデバイスにおいて、モデルの複雑さを低下させずに高い精度を維持できるフェデレーテッドラーニングシステムは実現可能か？
• RQ2 選択的にレイヤーを量子化および凍結することで、非IIDデータ設定下における制限されたデバイスの貢献度は向上するか？
• RQ3 サーバーに依存せず、デバイスに適応可能なレイヤー選択戦略は、リソース使用量とモデル精度のバランスを効果的にとれるか？
• RQ4 量子化とレイヤー統合は、リソースの節約と精度の低下のトレードオフにどのように影響するか？
• RQ5 最終的なモデル精度と公平性の観点から、CoCoFL は最先端のサブセットベース手法をどの程度上回るか？

主な発見

• デバイス制約が l=0.4 の場合、ベースラインの CoCoFL^F と比較して、CoCoFL は最大14.9 p.p.高い最終精度を達成し、顕著な性能向上を示した。
• 制約が l=0.25 の場合、CoCoFL^QFF は CoCoFL^FF よりも6.5 p.p.高い精度を達成し、量子化と統合の利点を示した。
• 量子化とレイヤー統合による誤差は無視できるほど小さく、利益が活用されない場合でも最大2.3 p.p.の精度低下にとどまる。
• 量子化と統合により、制限されたデバイスが同じリソース制約下でより多くのトレーニング可能なブロックを学習可能となり、直接的にモデル精度を向上させた。
• トレーニング能力の向上による精度向上が、量子化によって生じるわずかな誤差を上回り、特にデバイス制約が厳しい状況で顕著に顕在された。
• デバイス制約がリソースの上限に近づく（l≈1.0）と、量子化と統合の利点が薄れ、量子化誤差の影響によりわずかな精度低下が生じる可能性がある。