[論文レビュー] Federated Learning via Over-the-Air Computation

Kai Yang, Tao Jiang+2 more|arXiv (Cornell University)|Dec 31, 2018

Sparse and Compressive Sensing Techniques参考文献 46被引用数 50

ひとこと要約

この論文は、過送信（オーバー・ザ・エア）計算を用いてワイヤレスチャネルの重ね合わせを活用するファデレーテッドラーニングの高速なモデル集約手法を提案し、新規のDCベースのスパースかつ低ランク最適化フレームワークによりデバイス選択とビームフォーミングを同時に導く。

ABSTRACT

The stringent requirements for low-latency and privacy of the emerging high-stake applications with intelligent devices such as drones and smart vehicles make the cloud computing inapplicable in these scenarios. Instead, edge machine learning becomes increasingly attractive for performing training and inference directly at network edges without sending data to a centralized data center. This stimulates a nascent field termed as federated learning for training a machine learning model on computation, storage, energy and bandwidth limited mobile devices in a distributed manner. To preserve data privacy and address the issues of unbalanced and non-IID data points across different devices, the federated averaging algorithm has been proposed for global model aggregation by computing the weighted average of locally updated model at each selected device. However, the limited communication bandwidth becomes the main bottleneck for aggregating the locally computed updates. We thus propose a novel over-the-air computation based approach for fast global model aggregation via exploring the superposition property of a wireless multiple-access channel. This is achieved by joint device selection and beamforming design, which is modeled as a sparse and low-rank optimization problem to support efficient algorithms design. To achieve this goal, we provide a difference-of-convex-functions (DC) representation for the sparse and low-rank function to enhance sparsity and accurately detect the fixed-rank constraint in the procedure of device selection. A DC algorithm is further developed to solve the resulting DC program with global convergence guarantees. The algorithmic advantages and admirable performance of the proposed methodologies are demonstrated through extensive numerical results.

研究の動機と目的

• 多くのデバイスからの高速かつ同時のモデル更新を実現することで FedAvg の通信効率を向上させる。
• 平均二乗誤差(MSE)歪み制約の下で各集約ラウンドに参加するデバイス数を最大化する。
• 収束保証を伴う、得られたスパースかつ低ランクの最適化問題を解くアルゴリズムツールを開発する。
• 統一されたDCプログラミングアプローチを用いてデバイス選択とビームフォーミングの非凸性に対処する。

提案手法

• グローバル集約を、オーバー・ザ・エア伝送で計算可能なノモグラフィック関数としてモデル化する。
• 行列リフティングを用いて、デバイス選択と受信ビームフォーミングをスパースかつ低ランクの最適化問題として定式化する。
• 疎性（l0ノルムを介して）と階数制約（Tr(M) - ||M||2を介して）に対するDC（difference-of-convex-functions）表現を導入する。
• 原問題/双対問題の連続的な凸緩和によって、グローバル収束保証を持つDCアルゴリズムを開発する。
• まずスパース性を誘導してデバイスのランク付けを導く2段階のフレームワークを提供し、次にMSE制約を満たしつつランク1のリフティングを課す実現可能性検査を行う。
• CIFAR-10上のSVMなどで、ベースラインと比較して学習性能の向上と収束の高速化を示す。

実験結果

リサーチクエスチョン

• RQ1 複数デバイスの無線環境で、オーバー・ザ・エア計算を用いてFedAvgの集約をどのように加速できるか。
• RQ2 モデル集約のための指定されたMSE歪みを満たしつつ、同時に選択できるデバイスの最大数はどれか。
• RQ3 統一されたDCフレームワークは、デバイス選択とビームフォーミングの結合問題を解くために、スパース性を効果的に誘導しランク1制約を課すことができるか。
• RQ4 提案手法は、標準データセット上で既存手法と比較してより良い学習性能と収束速度をもたらすか。

主な発見

• 提案されたAirCompベースのアプローチは、チャネルの重ね合わせを利用した同時伝送により高速なグローバルモデル集約を実現する。
• MSE制約の下でデバイス選択とビームフォーミングを扱うスパースかつ低ランクの最適化モデルを開発した。
• l0ノルムおよびランク1制約の新規DC表現は、パラメータなしのスパース性手法と正確な実現可能性検出をもたらす。
• グローバル収束保証を備えたDCアルゴリズムは、シミュレーションで最先端手法を上回る。
• CIFAR-10を用いたSVMトレーニングの実験は、提案手法を用いて予測精度が向上し、収束も速いことを示している。