[論文レビュー] Over-the-Air Federated Edge Learning with Error-Feedback One-Bit Quantization and Power Control

Yuding Liu, Dongzhu Liu+3 more|arXiv (Cornell University)|Mar 20, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、空中でのフラッグレート分散エッジ学習（Air-FEEL）における1ビット量子化による収束劣化を軽減するため、1ビット量子化と誤差フィードバックを組み合わせた誤差フィードバック1ビット広帯域デジタル集約（EFOBDA）を提案する。さらに、即時の電力制約下で収束速度を最大化する最適化された電力制御方策を導入し、画像分類タスクにおいてベースライン手法よりも高速な収束と高いテスト精度を達成する。

ABSTRACT

Over-the-air federated edge learning (Air-FEEL) is a communication-efficient framework for distributed machine learning using training data distributed at edge devices. This framework enables all edge devices to transmit model updates simultaneously over the entire available bandwidth, allowing for over-the-air aggregation. A one-bit digital over-the-air aggregation (OBDA) scheme has been recently proposed, featuring one-bit gradient quantization at edge devices and majority-voting based decoding at the edge server. However, the low-resolution one-bit gradient quantization slows down the model convergence and leads to performance degradation. On the other hand, the aggregation errors caused by fading channels in Air-FEEL is still remained to be solved. To address these issues, we propose the error-feedback one-bit broadband digital aggregation (EFOBDA) and an optimized power control policy. To this end, we first provide a theoretical analysis to evaluate the impact of error feedback on the convergence of FL with EFOBDA. The analytical results show that, by setting an appropriate feedback strength, EFOBDA is comparable to the Air-FEEL without quantization, thus enhancing the performance of OBDA. Then, we further introduce a power control policy by maximizing the convergence rate under instantaneous power constraints. The convergence analysis and optimized power control policy are verified by the experiments, which show that the proposed scheme achieves significantly faster convergence and higher test accuracy in image classification tasks compared with the one-bit quantization scheme without error feedback or optimized power control policy.

研究の動機と目的

• 空中でのフラッグレート分散エッジ学習（Air-FEEL）における1ビット勾配量子化が引き起こす性能劣化を是正する。
• Air-FEELにおける無線チャネルのフェージングとノイズによる集約誤差を、誤差フィードバックと最適化された電力制御を導入することで軽減する。
• 限られた帯域幅と電力制約下での分散エッジ学習における通信効率とモデル収束速度を向上させる。
• 誤差フィードバックを備えたEFOBDAスキームの理論的収束解析を構築し、その有効性を検証する。
• 即時の電力制約下で収束速度を最大化する電力制御方策を設計し、耐障害性と性能を向上させる。

提案手法

• 1ビット量子化後の勾配更新方向の補正を目的に誤差フィードバックを導入し、収束劣化を低減する。
• EFOBDAスキームを提案：エッジデバイスでの1ビット量子化、重ね合わせによる空中集約、エッジサーバーでの多数決デコード。
• 適切なフィードバック強度のもとで、EFOBDAがフル精度Air-FEELと同等の性能を達成することを示す理論的収束バウンドを導出する。
• 即時の電力制約下で収束速度を最大化するための電力制御最適化問題を定式化する。
• ラグランジュ双対性を用いて凸な電力制御問題を解き、各デバイスの最適送信電力の閉形式表現を導出する。
• 最適化された電力制御方策をEFOBDAに統合し、エネルギー効率と学習性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 誤差フィードバックは、1ビット量子化された空中でのフラッグレート分散学習における収束性能の回復に有効に機能するか？
• RQ2 提案されたEFOBDAスキームは、フィードバックなしの従来の1ビット量子化と比較して、収束速度と精度で優れているか？
• RQ3 Air-FEELにおいて即時の電力制約下で収束速度を最大化する最適な電力制御方策は何か？
• RQ4 チャネルのフェージングとノイズはグローバルモデル更新にどのように影響を及ぼすか？また、提案されたスキームはこれらの影響を軽減できるか？
• RQ5 誤差フィードバックと最適化された電力制御の統合により、画像分類タスクにおけるテスト精度に顕著な向上が見られるか？

主な発見

• 理論的解析により、適切なフィードバック強度のもとで、EFOBDAはフル精度Air-FEELと同等の収束性能を達成することが示された。
• 提案された電力制御方策により、フェージングとノイズによる歪みを最小限に抑えることで、収束速度が顕著に向上した。
• 実験により、最適化された電力制御を施したEFOBDAは、フィードバックなしの1ビット量子化や準最適な電力制御よりも高速な収束と高いテスト精度を達成した。
• 収束速度の向上は、期待勾配ノルムのバウンドを通じて定量的に検証され、$\mathcal{O}(1/\sqrt{T})$ のスケーリングに従った。
• 誤差フィードバック機構により、グローバル勾配推定の期待誤差が低減され、誤差ノルムのバウンドは$\frac{2(1+\eta)(1-\delta)G^2}{\eta\delta\beta^2}$ に達した。
• 最適化された電力制御方策はラグランジュ双対性を用いて閉形式解を得られ、各デバイスの送信電力は$ p_k^* = \frac{A h_k}{h_k^2 + \frac{2}{\eta^2 L \|\bm{\sigma}_1\|^2} \lambda_k^*} $ として与えられた。