[論文レビュー] Federated Learning with Heterogeneous Labels and Models for Mobile Activity Monitoring

Gautham Krishna Gudur, Satheesh K. Perepu|arXiv (Cornell University)|Dec 4, 2020

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、ラベルベースのアグリゲーションとモデル distillation を用い、スコアのみを通信することで、異種ラベルおよび異種モデルを扱うモバイル行動モニタリングのためのフェデレーテッドラーニングフレームワークを提案する。Raspberry Pi 2 において平均的に11.01%の決定的精度向上を達成し、通信負荷を低減したデバイス内学習の有効性を示している。

ABSTRACT

Various health-care applications such as assisted living, fall detection, etc., require modeling of user behavior through Human Activity Recognition (HAR). Such applications demand characterization of insights from multiple resource-constrained user devices using machine learning techniques for effective personalized activity monitoring. On-device Federated Learning proves to be an effective approach for distributed and collaborative machine learning. However, there are a variety of challenges in addressing statistical (non-IID data) and model heterogeneities across users. In addition, in this paper, we explore a new challenge of interest -- to handle heterogeneities in labels (activities) across users during federated learning. To this end, we propose a framework for federated label-based aggregation, which leverages overlapping information gain across activities using Model Distillation Update. We also propose that federated transfer of model scores is sufficient rather than model weight transfer from device to server. Empirical evaluation with the Heterogeneity Human Activity Recognition (HHAR) dataset (with four activities for effective elucidation of results) on Raspberry Pi 2 indicates an average deterministic accuracy increase of at least ~11.01%, thus demonstrating the on-device capabilities of our proposed framework.

研究の動機と目的

• ユーザーが定義したモデルアーキテクチャを用いた、個人化された、デバイス内フェデレーテッドラーニングによるヒューマンアクティビティ認識（HAR）の実現。
• 異なるデバイスが異なるまたは重複するアクティビティのセットをモニタリングするという、ユーザー間でのラベル非均一性の課題に対処すること。
• モデル重みの代わりにスコア（ログチット）のみを送信することで、通信負荷を低減すること。
• 重複するアクティビティ情報を利用したラベル別重み付きアグリゲーションにより、グローバルモデルの性能を向上させること。
• Raspberry Pi 2 などのリソース制限のあるモバイルデバイス上で、フレームワークの実現可能性と効率性を検証すること。

提案手法

• 多様なローカルモデルから共通のスタディオントアーキテクチャに知識を転送するため、ローカルモデルの distillation を用いるフェデレーテッドラーニングフレームワークを提案する。
• ラベルベースのアグリゲーションを採用し、グローバルモデルの更新を、ラベルの重複度とローカルモデルの精度に基づき、動的係数 beta を用いて重み付けする。
• 性能評価を繰り返しの各段階で行うために、トレーニング中に露出させない一貫したテストセットとして、パブリックデータセットを用いる。
• モデル重みの代わりに、クライアントからサーバーへモデルスコア（ログチット）のみを送信することで、遅延とメモリ使用量を低減する。
• 知識 distillation を適用し、モデル非均一性にもかかわらず効果的なアグリゲーションを可能にするために、ローカルモデルを共通のスタディオントアーキテクチャに揃える。
• リソース制限のあるエッジデバイスでの効率的なローカルトレーニングのため、エポックの早期停止とカテゴリカル交差エントロピー損失を用いた Adam 最適化手法を採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、ユーザーが異なるまたは重複するアクティビティのセットをモニタリングするモバイル HAR において、ラベル非均一性を効果的に処理できるか？
• RQ2 ユーザー間でのラベル重複度が、フェデレーテッドラーニングにおけるグローバルモデルの性能と耐性にどのように影響するか？
• RQ3 特にリソース制限のあるデバイスにおいて、フルモデル重みの送信に代えてスコアベース通信を用いることで性能が低下しないか？
• RQ4 モデル非均一性およびデータ非均一性が存在する中で、ローカルモデル distillation がグローバルモデルの精度をどの程度向上できるか？
• RQ5 提案されたフレームワークは、Raspberry Pi 2 などの実世界のモバイルハードウェアで顕著な精度向上を達成できるか？

主な発見

• 提案されたフレームワークは、すべてのユーザーにおいてローカル更新からグローバル更新への平均的な決定的精度向上が11.01%に達した。
• 他のユーザーと重複アクティビティを持つユーザー2は、ラベル重複に起因する情報の有効活用のおかげで、最も高い精度向上（13.58%）を示した。
• 重複ラベルが存在する場合、ローカル精度の低下時でもグローバルモデルの更新が安定していたことから、耐性が確認された。
• フレームワークは Raspberry Pi 2 でも正常に動作し、実世界のモバイルヘルスアプリケーションにおけるデバイス内フェデレーテッドラーニングの実現可能性を裏付けた。
• スコアのみの通信により、フルモデル重み送信に比べてメモリ使用量と遅延の負荷が低減され、エッジデバイスへの効率的なデプロイが可能になった。
• モデル distillation はやや高い計算負荷を伴うが、Raspberry Pi 2 などの低性能ハードウェアでも実行可能であることが確認された。