[논문 리뷰] Personalized Semi-Supervised Federated Learning for Human Activity Recognition

Riccardo Presotto, Gabriele Civitarese외 1명|arXiv (Cornell University)|2021. 04. 15.

Context-Aware Activity Recognition Systems참고 문헌 63인용 수 16

한 줄 요약

FedHAR는 활동 인식에 대한 개인화된 준지도 학습 연합 학습 프레임워크를 제안하며, 레이블링된 데이터 요구를 줄이기 위해 활동 학습과 레이블 전파를 결합하고, 연합 학습을 통해 기밀성을 유지합니다. 최소한의 초기 레이블 세트와 시간에 따른 최소한의 활동 레이블링을 사용하여, 완전히 지도 학습된 FL 방법과 비교할 만한 인식 정확도를 달성합니다.

ABSTRACT

One of the major open problems in sensor-based Human Activity Recognition (HAR) is the scarcity of labeled data. Among the many solutions to address this challenge, semi-supervised learning approaches represent a promising direction. However, their centralised architecture incurs in the scalability and privacy problems that arise when the process involves a large number of users. Federated Learning (FL) is a promising paradigm to address these problems. However, the FL methods that have been proposed for HAR assume that the participating users can always obtain labels to train their local models (i.e., they assume a fully supervised setting). In this work, we propose FedAR: a novel hybrid method for HAR that combines semi-supervised and federated learning to take advantage of the strengths of both approaches. FedAR combines active learning and label propagation to semi-automatically annotate the local streams of unlabeled sensor data, and it relies on FL to build a global activity model in a scalable and privacy-aware fashion. FedAR also includes a transfer learning strategy to fine-tune the global model on each user. We evaluated our method on two public datasets, showing that FedAR reaches recognition rates and personalization capabilities similar to state-of-the-art FL supervised approaches. As a major advantage, FedAR only requires a very limited number of annotated data to populate a pre-trained model and a small number of active learning questions that quickly decrease while using the system, leading to an effective and scalable solution for the data scarcity problem of HAR.

연구 동기 및 목표

• 센서 데이터의 레이블링 비용과 기밀 위험으로 인한 데이터 부족 문제를 해결하기 위해 대규모 인간 활동 인식(HAR)에서의 과제를 다룹니다.
• 중앙집중식 준지도 학습 학습의 한계를 극복하기 위해, 많은 사용자 간에 확장 가능하고 기밀 보장이 되는 모델 학습을 가능하게 합니다.
• 모든 클라이언트가 레이블 데이터를 가지고 있다고 가정하지 않는 연합 학습 프레임워크를 개발하여, 실생활 HAR 시나리오에의 구현을 가능하게 합니다.
• 개별 사용자별 정확도 향상을 위해 글로벌 모델에 개인화 기능을 도입합니다.
• 활동 학습과 레이블 전파를 활용해 레이블링을 반자동으로 수행함으로써 사용자의 레이블링 노력 최소화

제안 방법

• 원시 센서 데이터를 공유하지 않고 글로벌 모델을 훈련하기 위해 연합 학습을 활용하여 기밀성과 확장성을 향상시킵니다.
• 가장 정보가 많은 미레이블링된 데이터 포인트를 선택하고 사용자에게 최소한의 레이블링을 요청하기 위해 활동 학습을 활용합니다.
• 특징 공간 내 유사도를 기반으로 소수의 레이블된 예시에서 레이블을 전파하여, 레이블이 없는 데이터에 레이블을 전파합니다.
• 각 사용자의 로컬 데이터와 활동 패턴을 기반으로 전이 학습을 적용하여 글로벌 모델을 개인화합니다.
• 특징 벡터와 그 관계를 유지하여 효율적으로 레이블을 전파하는 그래프 기반 레이블 전파 메커니즘을 통합합니다.
• 모델 파rameter의 집계 과정에서 기밀 유출 위험을 줄이기 위해 보안 다자간 계산(SMC)을 사용합니다.

실험 결과

연구 질문

• RQ1 HAR를 위한 연합 학습 프레임워크가 모든 클라이언트가 레이블 데이터를 가져야 한다는 조건 없이 높은 인식 정확도를 달성할 수 있는가?
• RQ2 활동 학습과 레이블 전파의 조합이 연합 환경에서 사용자의 레이블링 부담을 얼마나 효과적으로 줄이는가?
• RQ3 이질적인 사용자 집단에서 단일 글로벌 모델에 비해 개인화된 모델이 인식 성능 향상에 얼마나 기여하는가?
• RQ4 정확도와 레이블링 효율성 측면에서 FedHAR는 완전히 지도 학습된 FL 기준 모델에 비해 어떻게 성능을 내는가?
• RQ5 준지도 학습을 연합 HAR 시스템에 적용할 때의 확장성과 기밀 보장 간의 상충 관계는 어떠한가?

주요 결과

• FedHAR는 두 개의 공개 HAR 데이터셋에서 최신 완전히 지도 학습된 연합 학습 방법과 비교할 만한 인식률을 달성합니다.
• 글로벌 모델을 사전 훈련하기 위해 매우 작은 초기 레이블 세트만 필요로 하여 데이터 수집 비용을 크게 줄입니다.
• 활동 학습 질문의 수가 시간이 지남에 따라 급격히 감소하여, 사용자가 효과적인 모델 향상을 위해 빠르게 최소한의 레이블링을 수행할 수 있음을 시사합니다.
• 레이블 전파와 활동 학습의 조합은 로컬 장치에서 레이블이 없는 센서 스트림에 대한 효과적인 반자동 레이블링을 가능하게 합니다.
• 전이 학습을 통한 개인화는 활동 수행 방식의 개인 간 변동성이 존재할 경우 특히 사용자별 정확도 향상에 기여합니다.
• 프레임워크는 확장 가능하고 기밀 보장이 되며, 원시 데이터는 기기 내부에 유지되고 오직 모델 파rameter만 공유되며, 집계 과정에서 SMC가 사용되어 보안을 강화합니다.