[論文レビュー] Exploiting Unlabeled Data in Smart Cities using Federated Learning

Abdullatif Albaseer, Bekir Sait Çiftler+2 more|arXiv (Cornell University)|Jan 10, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 13

ひとこと要約

本稿では、スマートシティにおけるラベルなしデータを活用することで、ユーザーのプライバシーを守りながらモデルの精度を向上させる、半教師付きフェデレーテッドエッジ学習フレームワークであるFedSemを提案する。まずラベル付きデータでグローバルモデルを訓練し、第二段階で偽ラベルを付与されたラベルなしデータを統合することで、ラベル付きデータのみを用いる場合に比べて最大8%高い精度を達成し、ラベル付きデータが限られている状況でも顕著な性能向上を示す。

ABSTRACT

Privacy concerns are considered one of the main challenges in smart cities as sharing sensitive data brings threatening problems to people's lives. Federated learning has emerged as an effective technique to avoid privacy infringement as well as increase the utilization of the data. However, there is a scarcity in the amount of labeled data and an abundance of unlabeled data collected in smart cities, hence there is a need to use semi-supervised learning. We propose a semi-supervised federated learning method called FedSem that exploits unlabeled data. The algorithm is divided into two phases where the first phase trains a global model based on the labeled data. In the second phase, we use semi-supervised learning based on the pseudo labeling technique to improve the model. We conducted several experiments using traffic signs dataset to show that FedSem can improve accuracy up to 8% by utilizing the unlabeled data in the learning process.

研究の動機と目的

• スマートシティ応用におけるラベル付きデータの不足とラベルなしデータの多さに対処すること。
• 中央集権的なデータ収集を避けることで、エッジネットワークにおけるプライバシー保護型のモデル学習を可能にすること。
• 半教師付き手法を用いてラベルなしデータを効果的に活用するフェデレーテッド学習フレームワークの開発。
• さまざまなデータの非同一性およびラベル付きデータ比の条件下での提案手法の性能を評価すること。

提案手法

• FedSemフレームワークは2段階で動作する：最初の段階では、フェデレーテッドラーニングを用いてラベル付きデータのみでグローバルモデルを訓練する。
• 第二段階では、Phase 1のモデルがラベルなしサンプルに予測を割り当てることで、偽ラベルを付与されたラベルなしデータを統合する。
• その後、偽ラベル付きサンプルを用いてグローバルモデルをファインチューニングすることで、汎化性能と性能が向上する。
• 本手法は、分類に適した3層の畳み込み層と1層の全結合層を備えた標準的なディープラーニングアーキテクチャを採用している。
• クライアントはラウンドロビン方式で参加し、モデル更新を中央集権的に集約してグローバルモデルを形成する。
• システムは固定された学習率とバッチサイズを用い、収束性と精度を評価するために複数ラウンドおよびエポックにわたりハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 エッジネットワークにおけるフェデレーテッドラーニングを、豊富なラベルなしデータを活用できる半教師付き設定に効果的に拡張できるか？
• RQ2 プライバシー保護型フェデレーテッドラーニング環境下で、偽ラベル付きデータの統合がモデル精度にどのように影響するか？
• RQ3 スマートシティ応用において性能を最大化するために、ラベル付きデータ比とラベルなしデータの活用の最適なバランスは何か？
• RQ4 データの非同一性が、エッジ環境における半教師付きフェデレーテッドラーニングの性能にどのように影響するか？

主な発見

• FedSemは、ラベルなしデータを学習プロセスに統合することで、最大8%の精度向上を達成する。
• ラベル付きデータがたった10%でさえも、ラベルなしデータを統合した後、7%の精度向上を達成する。
• ローカルエポック数を増やすことでテスト精度が向上し、ハイパーパrameterの調整が収束に不可欠であることが示された。
• トレーニングの安定性が向上し、モデルの頑健性が向上することが、安定した精度向上と損失のフラクチュエーション低減によって確認された。
• 20%、30%、50%の異なるラベル付きデータ比においても、性能向上が一貫して得られ、本手法のスケーラビリティを示している。
• 偽ラベル付けの活用は、特にラベル付きデータが不足している状況で顕著な性能向上をもたらし、半教師付きフェデレーテッドラーニングにおけるラベルなしデータの価値を裏付けている。