[論文レビュー] Federated and continual learning for classification tasks in a society of devices

Fernando E. Casado, Dylan Lema+3 more|arXiv (Cornell University)|Jun 12, 2020

Data Stream Mining Techniques参考文献 28被引用数 6

ひとこと要約

本論文では、スマートフォンなどのリソース制約のあるデバイスが、クラウド上のグローバルモデルを共同で改善する中で、リアルタイムかつローカルで継続的な分類を実行できる軽量なフェデレーテッドで継続的学習フレームワーク、LFedCon2を提案する。ローカルモデル学習、セミスーパvisedラベリング、および適応的グローバルコンセンサスを組み合わせることで、ノイズの多いデータやコンセプトドリフトが生じる中でも、歩行認識において最大86.32％のバランス精度を達成する。

ABSTRACT

Today we live in a context in which devices are increasingly interconnected and sensorized and are almost ubiquitous. Deep learning has become in recent years a popular way to extract knowledge from the huge amount of data that these devices are able to collect. Nevertheless, centralized state-of-the-art learning methods have a number of drawbacks when facing real distributed problems, in which the available information is usually private, partial, biased and evolving over time. Federated learning is a popular framework that allows multiple distributed devices to train models remotely, collaboratively, and preserving data privacy. However, the current proposals in federated learning focus on deep architectures that in many cases are not feasible to implement in non-dedicated devices such as smartphones. Also, little research has been done regarding the scenario where data distribution changes over time in unforeseen ways, causing what is known as concept drift. Therefore, in this work we want to present Light Federated and Continual Consensus (LFedCon2), a new federated and continual architecture that uses light, traditional learners. Our method allows powerless devices (such as smartphones or robots) to learn in real time, locally, continuously, autonomously and from users, but also improving models globally, in the cloud, combining what is learned locally, in the devices. In order to test our proposal, we have applied it in a heterogeneous community of smartphone users to solve the problem of walking recognition. The results show the advantages that LFedCon2 provides with respect to other state-of-the-art methods.

研究の動機と目的

• データが機密で部分的かつ進化し続ける分散型センサ豊富な環境における集中型ディープラーニングの限界を解消すること。
• クラウド中心の学習のスケーラビリティとプライバシーの問題を克服し、エッジデバイス上で分散型でプライバシーを守るモデル学習を可能にすること。
• 時間とともに予期しない変化が生じるデータ分布（コンセプトドリフト）が生じる継続的学習のフェデレーテッド環境における実用的ソリューションを開発すること。
• スマートフォンやロボットなどの低リソースデバイスが、重いディープニューラルネットワークに依存せずに、リアルタイムで自律的かつ継続的な学習を実行できることを実現すること。
• ローカルの知見とグローバルコンセンサスの両方を活用するハイブリッドローカル・グローバル学習ループにより、モデル性能を向上させること。

提案手法

• ストリーミングで部分的にラベル付けされたデータを用いて、各デバイスで軽量な従来の分類器（例：RBF SVM、ランダムフォレスト、XGBoost）をローカルに学習する。
• クラウドベースのグローバルモデルを用いて、ローカルデバイスの未ラベルデータに対してセミスーパvisedラベリングを実行し、ローカルモデルの精度を向上させる。
• ローカルでのドリフト検出を実装し、データ分布の変化を特定して、適応的再学習またはモデル更新をトリガーする。
• ローカルモデルを定期的にクラウドで集約することで、強固で更新されたグローバルモデルを形成するグローバルコンセンサスメカニズムを適用する。
• クラウドで複数のローカルモデルの予測を統合するマルチモデルアンサンブル戦略を採用し、一般化性能と耐性を向上させる。
• 性能と信頼性に基づいてローカルモデルを動的に選択・更新し、高品質なモデルのみがグローバルアンサンブルに寄与するようにする。

実験結果

リサーチクエスチョン

• RQ1 軽量でディープラーニングでない学習器に依存するフェデレーテッド学習システムは、現実世界のエッジベース分類タスクで高い性能を達成できるか？
• RQ2 ハイブリッドローカル・グローバル学習フレームワークは、エッジデバイス上で継続的に変化するデータストリームにおけるコンセプトドリフトをどの程度効果的に処理できるか？
• RQ3 グローバルモデルを用いたセミスーパvisedラベリングは、データが少ないまたはノイズの多い状況下でローカルモデルの精度をどの程度向上できるか？
• RQ4 一部のローカルデバイスが誤ってラベル付けされたまたはノイズの多いデータを提供しても、システムはどの程度耐性を保てるか？
• RQ5 ローカルアンサンブルサイズ（$M_l$）とグローバル集約頻度が、ドリフト条件下での収束速度とモデル安定性に与える影響は何か？

主な発見

• 8人のユーザーのうち4人が誤ってラベル付けしたデータを提供した状況でも、ベース分類器にRBF SVMを使用したLFedCon2は、バランス精度86.32％を達成し、単体の分類器（59.43％）を著しく上回った。
• t=2500でコンセプトドリフト（ラベルの反転）が導入された後、システムは数千年のイテレーション内で回復し、高い性能に収束した。これは、高い適応性を示している。
• グローバルモデルからのフィードバックを用いたセミスーパvisedラベリングにより、すべてのベース分類器においてローカルモデルの性能が向上した。特にRBF SVMでは、バランス精度が59.43％から86.32％に向上した。
• ノイズの多いデータ条件下でも、感度（最大0.9940）と特異度（最大0.9029）が高く維持された。これは、強い耐性を示している。
• ローカルラベリングエラーの是正とドリフトへの適応が、特にデータが偏ったり不完全だったりする場合に、性能維持に不可欠であった。
• ローカルアンサンブルサイズ（$M_l$）を小さくすることで、急激なドリフトへの適応が早くなった。これは、速度と安定性の間で調整可能なトレードオフがあることを示唆している。