[論文レビュー] Semi-supervised Federated Learning for Activity Recognition

Yuchen Zhao, Hanyang Liu+3 more|arXiv (Cornell University)|Nov 2, 2020

Privacy-Preserving Technologies in Data参考文献 47被引用数 35

ひとこと要約

本論文は、IoTエッジデバイス上の人間の活動認識(HAR)のための半教師付き連合学習フレームワークを提案します。局所オートエンコーダを用いてラベルなしデータから表現を学習し、ラベル付き表現を用いて訓練されたクラウドベースの教師あり分類器を利用します。

ABSTRACT

Training deep learning models on in-home IoT sensory data is commonly used to recognise human activities. Recently, federated learning systems that use edge devices as clients to support local human activity recognition have emerged as a new paradigm to combine local (individual-level) and global (group-level) models. This approach provides better scalability and generalisability and also offers better privacy compared with the traditional centralised analysis and learning models. The assumption behind federated learning, however, relies on supervised learning on clients. This requires a large volume of labelled data, which is difficult to collect in uncontrolled IoT environments such as remote in-home monitoring. In this paper, we propose an activity recognition system that uses semi-supervised federated learning, wherein clients conduct unsupervised learning on autoencoders with unlabelled local data to learn general representations, and a cloud server conducts supervised learning on an activity classifier with labelled data. Our experimental results show that using a long short-term memory autoencoder and a Softmax classifier, the accuracy of our proposed system is higher than that of both centralised systems and semi-supervised federated learning using data augmentation. The accuracy is also comparable to that of supervised federated learning systems. Meanwhile, we demonstrate that our system can reduce the number of needed labels and the size of local models, and has faster local activity recognition speed than supervised federated learning does.

研究の動機と目的

• プライバシー保護学習を伴うエッジIoT上のHARを動機づける。
• 連合学習設定におけるエッジデバイス上のラベル付きデータ不足に対処する。
• ラベルなしデータから表現を学習するオートエンコーダを用いた半教師付きFLパイプラインを開発する。
• サーバ上の表現サイズとラベル付きデータが性能に与える影響を評価する。
• Raspberry Piのような低コストのエッジハードウェア上での実現性と効率を実証する。

提案手法

• クライアントはラベルなしの時系列データ上で局所的にオートエンコーダを訓練して表現を学習する。
• サーバはFedAvgで局所オートエンコーダを集約し、グローバルオートエンコーダを形成する。
• サーバはグローバルオートエンコーダのエンコーダを用いてラベル付きデータを表現に変換し、分類器の教師あり訓練を行う。
• 3つのオートエンコーダ方式を評価する：シンプルオートエンコーダ（FC）、畳み込みオートエンコーダ（CNN）、LSTMオートエンコーダ（LSTM-FC）。
• ベースラインと比較する：中央集権的監視学習（CS）およびデータ拡張を用いた半教師付きFL（DA）。
• パフォーマンスに対するラベル比と表現圧縮比の影響を評価する。
• Raspberry Pi 4 Model B上でシステムのローカル推論を展開・試験する。

実験結果

リサーチクエスチョン

• RQ1 Q1: 自動エンコーダを用いた半教師付きFLは中央集権型の監視学習と比較してどうか？
• RQ2 Q2: データ拡張を用いた半教師付きFLと比較してどうか？
• RQ3 Q3: 監視型FLと比較してどうか？
• RQ4 Q4: サーバのラベルサイズと表現サイズはHARの性能にどう影響するか？
• RQ5 Q5: 低コストのエッジデバイス上での半教師付きFLの効率はどの程度か？

主な発見

• LSTMオートエンコーダとSoftmax分類器を用いた半教師付きFLは、中央集権的な監視学習システムより高い正確さを達成する。
• 提案システムはデータ拡張に基づく半教師付きFL（DA）より優れている。
• この手法は、ラベル数が少なく、局所モデルが小さい状態で監視型FLと同等の精度を達成する。
• オートエンコーダの使用により局所モデルサイズを削減し、サーバーへのアップロードトラフィックを削減できる。
• Raspberry Pi 4 Model B上での推論は、監視型FLと比較して許容できるリアルタイム処理時間で実現可能である。