[論文レビュー] On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks

Minsu Kim, Walid Saad+2 more|arXiv (Cornell University)|Nov 15, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、無線ネットワークにおける精度、正確性、エネルギー消費を統合的に管理することでエネルギー効率を最適化する量子化されたフェデレーテッドラーニング（FL）フレームワークを提案する。局所学習および上行リンク送信のエネルギーコストを量子化ニューラルネットワーク（QNN）でモデル化し、収束を保証するためのラインサーチ法を用いて総エネルギーを最小化することで、標準の32ビットFLと比較して最大53％のエネルギー削減を達成した。特に大規模モデルにおいて顕著な効果を示した。

ABSTRACT

Deploying federated learning (FL) over wireless networks with resource-constrained devices requires balancing between accuracy, energy efficiency, and precision. Prior art on FL often requires devices to train deep neural networks (DNNs) using a 32-bit precision level for data representation to improve accuracy. However, such algorithms are impractical for resource-constrained devices since DNNs could require execution of millions of operations. Thus, training DNNs with a high precision level incurs a high energy cost for FL. In this paper, a quantized FL framework, that represents data with a finite level of precision in both local training and uplink transmission, is proposed. Here, the finite level of precision is captured through the use of quantized neural networks (QNNs) that quantize weights and activations in fixed-precision format. In the considered FL model, each device trains its QNN and transmits a quantized training result to the base station. Energy models for the local training and the transmission with the quantization are rigorously derived. An energy minimization problem is formulated with respect to the level of precision while ensuring convergence. To solve the problem, we first analytically derive the FL convergence rate and use a line search method. Simulation results show that our FL framework can reduce energy consumption by up to 53% compared to a standard FL model. The results also shed light on the tradeoff between precision, energy, and accuracy in FL over wireless networks.

研究の動機と目的

• エネルギー制約のある無線ネットワークにおけるフェデレーテッドラーニングのエネルギー効率、精度、正確性のバランスをとる課題に対処すること。
• 局所学習および上行リンク送信の両方のエネルギーコストを考慮する包括的なモデルを構築すること。
• QNNの精度水準を最適化し、目標精度および収束を維持しながら総エネルギー消費を最小化すること。
• リソース制約のあるデバイスを想定した無線フェデレーテッドラーニングにおける精度、エネルギー、正確性のトレードオフを体系的に分析すること。

提案手法

• 局所学習および上行リンク送信の両方で固定精度のQNN（重みおよび活性化の量子化）を用いる量子化FLフレームワークを提案する。
• プロセッシングチップの物理的構造に基づく、計算およびメモリアクセスコストを捉えた局所学習の厳密なエネルギーモデルを構築する。
• 量子化を考慮した上行リンク送信のエネルギーモデルを導出する。ここには、精度がデータサイズおよび送信エネルギーに与える影響が含まれる。
• 量子化誤差およびモデルサイズを組み込んだ解析的表現を用いて、量子化FLシステムの収束速度を分析する。
• 収束および正確性制約を満たす条件下で、精度水準に関するエネルギー最小化問題を定式化し、ラインサーチ法で解く。
• 収束を保証しつつ総エネルギーを最小化する最適な精度水準を特定するため、ラインサーチアルゴリズムを用いる。

Figure 1: An illustration of the quantized FL model over wireless network.

実験結果

リサーチクエスチョン

• RQ1 収束および目標正確性を維持しつつ、フェデレーテッドラーニングにおける総エネルギー消費を最小化する最適な精度水準は何か？
• RQ2 量子化はフェデレーテッドラーニングの収束速度にどのように影響するか？ また、その影響を解析的にモデル化するにはどうすればよいか？
• RQ3 リソース制約のあるデバイスを想定した無線フェデレーテッドラーニングにおいて、エネルギー効率、精度、正確性のトレードオフはどのように現れるか？
• RQ4 局所反復回数が、エネルギー最小化のための最適精度水準にどのように影響するか？
• RQ5 モデルサイズは、量子化FLにおける必要な精度水準および総エネルギー消費にどのように影響するか？

主な発見

• 提案された量子化FLフレームワークは、標準の32ビットフェデレーテッドラーニングと比較して、総エネルギー消費を最大53％削減した。特に大規模モデルにおいて顕著な効果を示した。
• 138.6MパラメータのCNN（ケース5）では、最適な精度水準が15ビットであった。このときエネルギー削減が最大に達した。
• モデルサイズが大きくなると、量子化誤差が蓄積されるため、収束を維持するには高い精度が必要となり、最適な精度水準も上昇する。
• 局所反復回数が増加するとも、勾配平均の効果により量子化誤差の影響が軽減されるため、最適な精度水準も上昇する。
• 目標正確性を10倍向上させる（ε=0.01からε=0.001に）には、追加で127 Jのエネルギーと1ビットの精度増加が必要であった。
• エネルギー消費は精度水準が上昇するに従い、初期には減少し、その後増加する傾向を示しており、非単調なトレードオフが存在することが判明。本研究の設定では、最適点はn=10に位置した。