[논문 리뷰] Warmup and Transfer Knowledge-Based Federated Learning Approach for IoT Continuous Authentication

Mohamad Wazzeh, Hakima Ould‐Slimane외 3명|arXiv (Cornell University)|2022. 11. 10.

User Authentication and Security Systems인용 수 7

한 줄 요약

이 논문은 온보드 및 모바일 디바이스에서의 비정형 행동 데이터에 대해 비밀성 보장 페더레이티드 러닝 프레임워크를 제안하며, 웜업 단계와 전이 학습을 통해 정확도를 향상시킵니다. 소량의 데이터로 모델을 초기화하고 사전 훈련된 특징 추출기를 활용함으로써, FEMNIST 및 UMDAA-02-FD 데이터셋에서 FedAvg 대비 최대 70% 높은 정확도를 달성하면서도 사용자 데이터의 기밀성을 유지합니다.

ABSTRACT

Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.

연구 동기 및 목표

• 연속 인증 시스템에서 원시 행동 데이터를 전송할 경우 발생하는 기밀성 위험을 해결하기 위해.
• IoT 및 모바일 디바이스에서의 비정형, 사용자별 행동 데이터에 대해 페더레이티드 러닝 성능을 향상시키기 위해.
• 클라이언트 간에 고유한 레이블 기반 데이터 분포로 인해 발생하는 모델 분산 및 정확도 저하 문제를 줄이기 위해.
• 원시 사용자 데이터를 공유하지 않으면서도 정확도를 향상시켜 GDPR과 같은 기밀성 규정 준수를 보장하기 위해.
• 웜업 및 전이 학습이 페더레이티드 모델 수렴 및 성능 향상에 기여하는지 실험적으로 입증하기 위해.

제안 방법

• 웜업 단계에서는 각 클라이언트의 데이터 중 5%만 사용하여 글로벌 모델을 초기화함으로써 전체 페더레이티드 훈련 시작 전에 성능 향상을 확보합니다.
• 행동 데이터에 대한 표현 학습을 향상시키기 위해 사전 훈련된 CNN 특징 추출기를 활용한 전이 학습을 적용합니다.
• 서버에서 클라이언트 모델 가중치를 평균화하는 FedAvg 알고리즘을 사용하여 데이터 기밀성을 유지합니다.
• 각 클라이언트는 고유한 비정형 행동 데이터를 기반으로 로컬 모델을 훈련하며, 원시 데이터 대신 모델 가중치만 공유합니다.
• 프레임워크는 MNIST, FEMNIST, CIFAR-10, UMDAA-02-FD 네 가지 데이터셋에서 평가되었으며, 이미지 기반 행동 특징에 대해 CNN을 사용했습니다.
• 고유한 레이블을 클라이언트별로 할당하는 커스터마이징된 데이터 분할 전략을 통해 실제 비정형 사용자 행동을 시뮬레이션합니다.

실험 결과

연구 질문

• RQ1 웜업 단계가 연속 인증에서 비정형 행동 데이터에 대해 페더레이티드 러닝 정확도를 크게 향상시킬 수 있는가?
• RQ2 사전 훈련된 특징 추출기를 활용한 전이 학습은 IoT 인증을 위한 페더레이티드 러닝에서 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 비정형, 레이블 기반 행동 데이터에서 표준 FedAvg 대비 어느 정도 뛰어난 성능을 보이는가?
• RQ4 원시 사용자 데이터를 전송하지 않으면서도 높은 모델 정확도를 달성할 수 있는가, 이를 통해 기밀성 규정 준수를 확보할 수 있는가?
• RQ5 웜업과 전이 학습의 조합이 비정형 데이터로 인한 모델 분산을 줄이고, 페더레이티드 러닝의 수렴을 향상시키는가?

주요 결과

• FEMNIST 데이터셋에서 웜업 단계를 통해 클라이언트 데이터의 5%만 사용했을 때, 표준 FedAvg 대비 정확도가 60% 향상되었으며, 이는 FedAvg의 정확도가 2% 이하로 머물러 있음을 고려할 때 뚜렷한 성과입니다.
• UMDAA-02-FD 데이터셋에서 제안된 방법은 FedAvg 대비 모델 정확도를 70% 향상시켰습니다.
• 사전 훈련된 특징 추출기를 사용한 전이 학습 접근법은 특히 얼굴 이미지와 같은 복잡한 행동 데이터에서 성능 향상에 뚜렷한 기여를 하였습니다.
• 원시 데이터를 공유하지 않으면서도 모든 테스트 데이터셋에서 높은 정확도를 유지했습니다 — CIFAR-10(40% 향상), FEMNIST(60% 향상), UMDAA-02-FD(70% 향상).
• 비정형 데이터로 인한 모델 분산 문제를 효과적으로 완화하여 글로벌 모델의 수렴을 향상시켰습니다.
• 모델를 로컬에서 훈련하고 가중치만 공유함으로써 강력한 기밀성 보호를 달성하였으며, GDPR 및 유사 규정 준수를 보장했습니다.