[論文レビュー] An Efficient Industrial Federated Learning Framework for AIoT: A Face Recognition Application

Youlong Ding, Xueyang Wu+6 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、転移学習とプライベートプロジェクタを活用することで、トレーニングを高速化し、プライバシーを強化する、AIoT向けの効率的な産業用フェデレーテッドラーニングフレームワークを提案する。最小限の計算およびメモリオーバーヘッドで、20回の通信ラウンドで顔認識の高精度（FAR@1e-4で63.51％）を達成しており、リソース制限のあるデバイスに適している。

ABSTRACT

Recently, the artificial intelligence of things (AIoT) has been gaining increasing attention, with an intriguing vision of providing highly intelligent services through the network connection of things, leading to an advanced AI-driven ecology. However, recent regulatory restrictions on data privacy preclude uploading sensitive local data to data centers and utilizing them in a centralized approach. Directly applying federated learning algorithms in this scenario could hardly meet the industrial requirements of both efficiency and accuracy. Therefore, we propose an efficient industrial federated learning framework for AIoT in terms of a face recognition application. Specifically, we propose to utilize the concept of transfer learning to speed up federated training on devices and further present a novel design of a private projector that helps protect shared gradients without incurring additional memory consumption or computational cost. Empirical studies on a private Asian face dataset show that our approach can achieve high recognition accuracy in only 20 communication rounds, demonstrating its effectiveness in prediction and its efficiency in training.

研究の動機と目的

• リソース制限のあるAIoTデバイス上で、正確でプライバシーを保護するAIモデルをトレーニングする課題に対処すること。
• 産業用AIoTアプリケーションにおけるフェデレーテッドラーニングの通信ラウンド数と計算負荷を低減すること。
• 追加のメモリや計算コストを負担せずに、モデル勾配をプライバシー攻撃から保護すること。
• 集中学習と比較して最小限の性能低下で、効果的なフェデレーテッドファインチューニングを可能にすること。
• 実世界のプライベートアジア系顔データセットを用いて、実用性と効率性を実証すること。

提案手法

• 公開データセット上で顔表現モデルを事前学習し、それをグローバルモデルの初期化に用いることで、クライアント側のトレーニング負荷を低減する。
• 共有勾配を隠ぺいする新たなローカルプロジェクタを導入し、フルフォワードプロパゲーション攻撃を防ぐが、追加のメモリや計算コストを発生させない。
• 転移学習を適用して、ローカルAIoTデバイスのデータ上でグローバルモデルをファインチューニングし、収束までの時間を短縮する。
• ウォームアップファインチューニングとバッチノーマライゼーションの凍結を実装し、トレーニングの安定性とパフォーマンスを向上させる。
• サーバーがFedAvgを用いてモデル更新を集約するクライアント・サーバーアーキテクチャを採用し、通信ラウンド数を最小限に抑える。
• モデルサイズと計算コストを最適化し、一般的なAIoTデバイスのオンチップSRAMに収まるようにする。

実験結果

リサーチクエスチョン

• RQ1 転移学習は、AIoTデバイスにおけるフェデレーテッド顔認識に必要な通信ラウンド数を顕著に削減できるか？
• RQ2 プライベートプロジェクタは、メモリや計算コストの増加なしに、共有勾配を再構成攻撃から効果的に保護できるか？
• RQ3 本フレームワークは、集中学習および標準フェデレーテッドラーニングベースラインと比較して、精度と効率性においてどのように差をつけるか？
• RQ4 学習率ウォームアップやバッチノーマライゼーションの凍結といったハイパーパrameterが、パフォーマンスの安定性に果たす役割は何か？
• RQ5 本フレームワークは、リソースが限られた実世界の産業用AIoTデバイスに、どの程度まで展開可能か？

主な発見

• 提案フレームワークは、プライベートアジア系顔データセットでFAR@1e-3で72.83％、FAR@1e-4で63.51％を達成し、集中学習と比較して最小限のユーティリティ損失で高い認識精度を示した。
• 高精度に到達するにはわずか20回の通信ラウンドで十分であり、トレーニング時間と帯域幅の使用量が顕著に削減された。
• プライベートプロジェクタは勾配の逆方向再構成攻撃に対して効果的に耐性を示した。定量的結果では、正解のプロジェクタ初期化でさえも、回復された画像がノイズが多く、識別不能な状態であった。
• モデルはたった120万パラメータと35MBのメモリしか使用せず、オンチップSRAM上へのデプロイが可能であり、効率性が向上した。
• 理論的FLOPsとMAddは1イタレーションあたり0.5G未満であり、エッジデバイスに適した低計算コストであることが確認された。
• アブレーションスタディの結果、事前学習と凍結されたバッチノーマライゼーションが不可欠であることが示された。それらが欠落すると、性能はランダムレベル（0.00％の精度）まで低下した。