[論文レビュー] Personalized Semi-Supervised Federated Learning for Human Activity Recognition

Riccardo Presotto, Gabriele Civitarese+1 more|arXiv (Cornell University)|Apr 15, 2021

Context-Aware Activity Recognition Systems参考文献 63被引用数 16

ひとこと要約

FedHARは、アクティブラーニングとラベル伝播を組み合わせることで、ラベル付きデータの必要を最小限に抑えつつ、フェデレーテッドラーニングによるプライバシー保護を実現する、個人化された半教師ありフェデレーテッドラーニングフレームワークを提案する。初期ラベル付きデータセットが小さく、時間経過に伴い最小限のアクティブラーニングを用いることで、完全に教師ありのFL手法と同等の認識精度を達成する。

ABSTRACT

One of the major open problems in sensor-based Human Activity Recognition (HAR) is the scarcity of labeled data. Among the many solutions to address this challenge, semi-supervised learning approaches represent a promising direction. However, their centralised architecture incurs in the scalability and privacy problems that arise when the process involves a large number of users. Federated Learning (FL) is a promising paradigm to address these problems. However, the FL methods that have been proposed for HAR assume that the participating users can always obtain labels to train their local models (i.e., they assume a fully supervised setting). In this work, we propose FedAR: a novel hybrid method for HAR that combines semi-supervised and federated learning to take advantage of the strengths of both approaches. FedAR combines active learning and label propagation to semi-automatically annotate the local streams of unlabeled sensor data, and it relies on FL to build a global activity model in a scalable and privacy-aware fashion. FedAR also includes a transfer learning strategy to fine-tune the global model on each user. We evaluated our method on two public datasets, showing that FedAR reaches recognition rates and personalization capabilities similar to state-of-the-art FL supervised approaches. As a major advantage, FedAR only requires a very limited number of annotated data to populate a pre-trained model and a small number of active learning questions that quickly decrease while using the system, leading to an effective and scalable solution for the data scarcity problem of HAR.

研究の動機と目的

• センサデータのラベリングにかかる高コストとプライバシーリスクによる、大規模なヒューマンアクティビティ認識（HAR）におけるデータ不足の課題に対処すること。
• 中央集権的な半教師ありラーニングの限界を克服し、多数のユーザーにまたがるスケーラブルでプライバシー保護されたモデル学習を可能にすること。
• すべてのクライアントがラベル付きデータを持つことを仮定しないフェデレーテッドラーニングフレームワークを構築し、実世界のHARシナリオへの展開を可能にすること。
• 個々のユーザーの認識精度を向上させるために、グローバルモデルにパーソナライゼーションを導入すること。
• アクティブラーニングとラベル伝播を用いて、ラベルなしセンサストリームを半自動的にアノテートすることで、ユーザーのラベリング作業を最小限に抑えること。

提案手法

• フェデレーテッドラーニングを活用し、生のセンサデータを共有せずにグローバルモデルを学習することで、プライバシーとスケーラビリティを向上させる。
• アクティブラーニングを用いて、最も情報量の多いラベルなしデータポイントを特定し、ユーザーに最小限のラベリングを促す。
• 特徴空間における類似性を用いて、少数のラベル付き例からラベルをラベルなしデータに伝播させる、ローカルデータストリーム上のラベル伝播を実装する。
• ユーザーのローカルデータとアクティビティパターンに基づいて、トランスファーラーニングを適用し、グローバルモデルを個別にパーソナライズする。
• 特徴ベクトルとその関係性を保持するグラフベースのラベル伝播メカニズムを導入し、効率的なラベル伝播を実現する。
• モデルパラメータの集約時にプライバシー漏洩のリスクを低減するため、セキュアなマルチパーティ計算（SMC）を用いる。

実験結果

リサーチクエスチョン

• RQ1 HAR用のフェデレーテッドラーニングフレームワークは、すべてのクライアントがラベル付きデータを持つ必要がない状況でも、高い認識精度を達成できるか？
• RQ2 アクティブラーニングとラベル伝播の組み合わせは、フェデレーテッド環境下でユーザーのラベリング負荷をどの程度軽減できるか？
• RQ3 多様なユーザー集団において、パーソナライズドモデルは単一のグローバルモデルと比較して、どの程度認識性能を向上させられるか？
• RQ4 精度とラベリング効率の観点から、FedHARは完全に教師ありのFLベースラインと比較してどの程度の性能を示すか？
• RQ5 半教師ありラーニングをフェデレーテッドHARシステムに適用する際のスケーラビリティとプライバシーのトレードオフはどのようなものか？

主な発見

• FedHARは、2つの公開HARデータセットにおいて、最先端の完全に教師ありフェデレーテッドラーニング手法と同等の認識率を達成した。
• グローバルモデルの事前学習に、わずかな初期ラベル付きデータセットしか必要としないため、データ収集コストを顕著に削減できた。
• アクティブラーニングの質問数は時間経過とともに急速に減少し、ユーザーが効果的なモデル向上のための最小限のラベリングを素早く行えることが示された。
• ラベル伝播とアクティブラーニングの組み合わせにより、ローカルデバイス上でラベルなしセンサストリームの効果的な半自動アノテーションが可能になった。
• トランスファーラーニングによるパーソナライゼーションにより、アクティビティ実行におけるユーザー間のばらつきが顕著な状況でも、ユーザーごとの認識精度が向上した。
• フレームワークはスケーラブルでプライバシー保護が可能であり、生データがデバイス上に留まり、モデルパラメータのみが共有される。また、集約プロセスにおけるプライバシー漏洩リスクを低減するためにSMCが用いられた。