[論文レビュー] Warmup and Transfer Knowledge-Based Federated Learning Approach for IoT Continuous Authentication

Mohamad Wazzeh, Hakima Ould‐Slimane+3 more|arXiv (Cornell University)|Nov 10, 2022

User Authentication and Security Systems被引用数 7

ひとこと要約

本論文は、ウォームアップ段階と転移学習を用いた、IoT連続認証のためのプライバシー保護型フェデレーテッドラーニングフレームワークを提案する。非IIDの行動データにおけるモデル精度を向上させる。小規模なデータサブセットでモデルを初期化し、事前学習済みの特徴抽出器を活用することで、FEMNISTおよびUMDAA-02-FDデータセットにおいて、FedAvgに比べて最大70%高い精度を達成した。ユーザーのデータプライバシーを保持したままである。

ABSTRACT

Continuous behavioural authentication methods add a unique layer of security by allowing individuals to verify their unique identity when accessing a device. Maintaining session authenticity is now feasible by monitoring users' behaviour while interacting with a mobile or Internet of Things (IoT) device, making credential theft and session hijacking ineffective. Such a technique is made possible by integrating the power of artificial intelligence and Machine Learning (ML). Most of the literature focuses on training machine learning for the user by transmitting their data to an external server, subject to private user data exposure to threats. In this paper, we propose a novel Federated Learning (FL) approach that protects the anonymity of user data and maintains the security of his data. We present a warmup approach that provides a significant accuracy increase. In addition, we leverage the transfer learning technique based on feature extraction to boost the models' performance. Our extensive experiments based on four datasets: MNIST, FEMNIST, CIFAR-10 and UMDAA-02-FD, show a significant increase in user authentication accuracy while maintaining user privacy and data security.

研究の動機と目的

• 連続認証システムにおける生の行動データの送信に伴うプライバシーリスクに対処すること。
• IoTおよびモバイルデバイスからの非IID、ユーザー固有の行動データにおけるフェデレーテッドラーニングのパフォーマンスを向上させること。
• クライアント間で特徴的なラベル固有のデータ分布が生じることで引き起こされるモデルの分散および精度の低下を軽減すること。
• 生のユーザーデータを共有せずに精度を向上させることで、GDPRなどのプライバシー規制への準拠を確保すること。
• ウォームアップと転移学習が、フェデレーテッドモデルの収束性とパフォーマンス向上に寄与することを実証すること。

提案手法

• ウォームアップ段階では、各クライアントのデータの5%のみを用いてグローバルモデルを初期化し、本格的なフェデレーテッドトレーニングの前段階でパフォーマンスを向上させる。
• 転移学習は、事前学習済みのCNN特徴抽出器を用いて、行動データにおける表現学習を改善する。
• サーバーではFedAvgアルゴリズムを用いてクライアントのモデル重みを集約し、データプライバシーを保持する。
• 各クライアントは、独自の非IID行動データ上でローカルモデルを学習し、生のデータではなくモデル重みのみを共有する。
• フレームワークは、MNIST、FEMNIST、CIFAR-10、UMDAA-02-FDの4つのデータセットで評価され、画像ベースの行動特徴にCNNが使用された。
• 独自のデータパーティショニング戦略により、各クライアントに固有のラベルが割り当てられ、現実の非IIDユーザー行動を模倣した。

実験結果

リサーチクエスチョン

• RQ1 ウォームアップ段階は、連続認証における非IID行動データのフェデレーテッドラーニング精度を顕著に向上させることができるか？
• RQ2 事前学習済み特徴抽出器を用いた転移学習は、IoT認証のフェデレーテッドラーニングにおけるモデルパフォーマンスをどのように向上させるか？
• RQ3 提案手法は、非IIDかつラベル固有の行動データにおいて、標準的なFedAvgをどの程度上回るか？
• RQ4 生のユーザーデータを送信せずに高いモデル精度を達成でき、プライバシー規制への準拠が保証されるか？
• RQ5 ウォームアップと転移学習の組み合わせは、連続認証のフェデレーテッドラーニングにおけるモデルの分散を軽減し、収束性を向上させるか？

主な発見

• FEMNISTデータセットでは、ウォームアップ段階でクライアントデータの5%のみを用いたことで、標準的なFedAvg（2%未満）に比べて精度が60%向上した。
• UMDAA-02-FDデータセットでは、提案手法がFedAvgに比べて70%の精度向上を達成した。
• 事前学習済み特徴抽出器を用いた転移学習アプローチは、顔画像のような複雑な行動データにおいて顕著なパフォーマンス向上をもたらした。
• フレームワークは、CIFAR-10（40%の改善）、FEMNIST（60%の改善）、UMDAA-02-FD（70%の改善）の全テストデータセットで高い精度を維持した。生のデータを共有せず、プライバシーを保持したままである。
• 非IIDデータに起因するモデルの分散を効果的に軽減し、グローバルモデルの収束性を向上させた。
• ローカルでモデルを学習し、モデル重みのみを共有することで、強力なプライバシー保護を実現し、GDPRなどの規制に準拠した。