[論文レビュー] A distillation-based approach integrating continual learning and federated learning for pervasive services

Anastasiia Usmanova, François Portet+2 more|arXiv (Cornell University)|Sep 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 33

ひとこと要約

本論文は、携帯端末上の循環的な人間活動認識（HAR）における連邦継続学習（FCL）の蒸留ベースの手法（FLwF-2T）を提案する。過去のクライアントモデルとサーバーのグローバルモデルという2つの教師を用いた2教師設定により、壊滅的忘却を緩和する。

ABSTRACT

Federated Learning, a new machine learning paradigm enhancing the use of edge devices, is receiving a lot of attention in the pervasive community to support the development of smart services. Nevertheless, this approach still needs to be adapted to the specificity of the pervasive domain. In particular, issues related to continual learning need to be addressed. In this paper, we present a distillation-based approach dealing with catastrophic forgetting in federated learning scenario. Specifically, Human Activity Recognition tasks are used as a demonstration domain.

研究の動機と目的

• 人間の活動認識（HAR）などのパーベイシブ・コンピューティングタスクにおける壊滅的忘却へ対処する。
• FLがクライアント間で過去の知識を共有し、未知のタスクでの性能を向上させるかを調査する。
• サーバー生成のグローバルモデルを第2の教師として活用し、クライアントが学習する一般的な特徴を強化する。

提案手法

• Learning without Forgetting（LwF）に触発された蒸留ベースのFL手法を提案し、過去の知識への変化を抑制する。
• 各クライアントが過去のクライアントモデル（教師1）とサーバーのグローバルモデル（教師2）双方から蒸留損失を介して学習する FLwF-2T を導入する。
• 最終損失 L_FLwF-2T を L_FLwF-2T = α L_class + β L_dis_cl + (1−α−β) L_dis_serv と定義し、α, β は教師の寄与と分類項を調整する。
• 蒸留には温度スケーリング済みのロジット（温度 T）とソフトターゲットを使用して、以前のタスクの性能を維持する。
• モバイルデバイスに適したCNNベースのアーキテクチャでUCI HARデータセットを評価する。

実験結果

リサーチクエスチョン

• RQ1 クラスインクリメンタル設定において、 Federated Learning はクライアント側で壊滅的忘却を防ぐのに役立つか？
• RQ2 FLは未知のタスクでの性能を向上させるためにクライアント間で過去の知識を共有するのを促進できるか？
• RQ3 サーバーのグローバルモデルが追加の教師として機能し、クライアントの性能を向上させ、忘却を減らすことができるか？

主な発見

• FLwF-2T は一般に Client 1 の忘却耐性を改善し、報告された CL 指標で FLwF (0.595) より低い忘却指標 F_2^1 (0.418) を達成する。
• 一般性検証では、FLwF-2T/FT + exemplars はクライアント固有の知識経路とサーバー知識経路を組み合わせた場合、汎化性が有利な強い性能を達成した。
• 2つの教師（クライアント過去モデルとサーバーモデル）を用いると、新しいタスクを学習しつつ以前に学習した情報を維持する点で、単一教師のベースラインを上回ることがある。
• エクサンプルメモリは、いくつかの戦略でFLとCLの指標全般の性能をさらに向上させ、FLwF-2T/FT + ex はしばしば強い結果を生む。
• 提案された FLwF-2T フレームワークは計算量が軽量で、ラウンド中に過去のクライアントモデルとサーバー提供のグローバルモデルに依存するため、モバイルデバイスに適している。