[論文レビュー] PAFedFV: Personalized and Asynchronous Federated Learning for Finger Vein Recognition

Hengyu Mu, Jian Guo+2 more|arXiv (Cornell University)|Apr 20, 2024

Oral and gingival health researchHealth Professions被引用数 3

ひとこと要約

本稿では、データの非独立同分布性（non-IID）とクライアントの無駄な待機時間を解消するための、個人化可能かつ非同期型のフェデレーテッドラーニングフレームワークであるPAFedFVを提案する。パーソナライズドモデルアグリゲーションと非同期学習を統合することで、6つの指静脈データセットにおいて、SOTAの精度と耐障害性を達成し、FedAvg、FedAsync、FedProx、FedFVを上回る。EER低減で最大6.32%、TAR向上で最大18.82%の改善を達成した。

ABSTRACT

With the increasing emphasis on user privacy protection, biometric recognition based on federated learning have become the latest research hotspot. However, traditional federated learning methods cannot be directly applied to finger vein recognition, due to heterogeneity of data and open-set verification. Therefore, only a few application cases have been proposed. And these methods still have two drawbacks. (1) Uniform model results in poor performance in some clients, as the finger vein data is highly heterogeneous and non-Independently Identically Distributed (non-IID). (2) On individual client, a large amount of time is underutilized, such as the time to wait for returning model from server. To address those problems, this paper proposes a Personalized and Asynchronous Federated Learning for Finger Vein Recognition (PAFedFV) framework. PAFedFV designs personalized model aggregation method to solve the heterogeneity among non-IID data. Meanwhile, it employs an asynchronized training module for clients to utilize their waiting time. Finally, extensive experiments on six finger vein datasets are conducted. Base on these experiment results, the impact of non-IID finger vein data on performance of federated learning are analyzed, and the superiority of PAFedFV in accuracy and robustness are demonstrated.

研究の動機と目的

• フェデレーテッドラーニング環境下におけるクライアント間の非独立同分布（non-IID）かつ異種の指静脈データの課題に対処すること。
• クライアントとサーバー間の通信待機中に、非同期学習を可能にすることで、クライアントの無駄な待機時間を削減すること。
• 限られたデータ量または低品質なデータを持つクライアントのモデル性能を、パーソナライズドモデルアグリゲーションにより向上させること。
• プライバシー保護型フェデレーテッドラーニング下でのオープンセット指静脈認識において、モデルの耐障害性と精度向上を実証すること。
• 今後の研究のための基盤とするために、非I-IDデータがフェデレーテッド指静脈学習に与える影響のパターンを同定・特徴づけること。

提案手法

• 標準的なFedAvg平均化に代わる、クライアント間の非I-IDデータ分布に適応するパーソナライズドモデルアグリゲーション戦略を設計する。
• クライアントが待機中でも、ローカルおよびフェデレーテッドチャネルの両方でローカル学習を実行できる非同期学習モジュールを導入し、計算リソースの活用を最大化する。
• 特徴の識別性を向上させるために、交差エントロピー損失とトリプルット損失を組み合わせたハイブリッド損失関数$L_{total}$を実装する。
• 二重チャネルのローカル学習構成を採用：1つはパーソナライズド（ローカルチャネル）、もう1つはグローバルモデルの整合性維持（フェデレーテッドチャネル）。
• 基本フレームワークとしてFedAvgを採用しつつ、パーソナライズドアグリゲーションおよび非同期学習モジュールを強化する。
• クライアント固有のヘッド層と共有されたバックボーンネットワークを用いて、パーソナライズドと知識共有のバランスを図るモデルアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 非I-ID指静脈データセットにおけるデータの非独立同分布性が、バイオメトリクス認識における標準的フェデレーテッドラーニングの性能にどのように影響を与えるか？
• RQ2 パーソナライズドモデルアグリゲーションは、限られたまたは偏った指静脈データを持つクライアントの認識精度をどの程度向上できるか？
• RQ3 非同期学習は、モデル収束の劣化を招かずに、無駄な待機時間を効果的に削減し、学習効率を向上させることができるか？
• RQ4 PAFedFVは、FedAvg、FedAsync、FedProx、FedFVといった最先端フェデレーテッドラーニング手法と比較して、多様な指静脈データセットにおいてEERおよびTAR(@FAR=0.01)の観点でどの程度優れているか？
• RQ5 フェデレーテッド指静脈学習における非I-IDデータの影響に顕著なパターンが存在するか？また、それらのパターンは今後のモデル設計にどのように活用できるか？

主な発見

• PAFedFVは、6つの指静脈データセットにおいて、既存手法と比較してEERを最大6.32%低減し、TAR(@FAR=0.01)を最大18.82%向上させた。
• VERAデータセットでは、非同期学習モジュールを追加することで、EERが13.64%低減し、TAR(@FAR=0.01)が31.82%向上した。
• UTFVPデータセットでは、$L_{total}$損失関数を用いることで、標準的な交差エントロピー損失と比較してEERが5.1%低減し、TAR(@FAR=0.01)が15.51%向上した。
• パーソナライズドアグリゲーションモジュール単体でも、クライアント全体の平均EERが0.62低下し、平均TAR(@FAR=0.01)が1.66上昇した。
• USM、HKPU、NUPT、UTFVPにおいて、PAFedFVは集中学習を上回った。特にUSMではEERが1.37%低減し、TAR(@FAR=0.01)が3.92%向上した。
• 特徴表現の可視化により、PAFedFVがFedFV、FedAvg、FedProxよりもより識別性の高い埋め込みを学習していることが確認された。特に、データ量が少ないまたは非I-IDなデータを持つクライアントにおいて顕著な優位性が示された。