[論文レビュー] Towards Unsupervised Domain Adaptation for Deep Face Recognition under Privacy Constraints via Federated Learning

Weiming Zhuang, Xin Gan+4 more|arXiv (Cornell University)|May 17, 2021

Face recognition and analysis参考文献 39被引用数 10

ひとこと要約

本稿では、厳密なプライバシー制約下における深層顔認識のための新しいフェデレーテッド自己教師ありドメイン適応フレームワーク、FedFRを提案する。ラベルなしターゲットドメインにおける疑似ラベル付与に強化された階層的クラスタリングを組み合わせ、ドメイン制約付きフェデレーテッドラーニングパイプラインを採用することで、顔画像の生データを共有せずに、現実的ベンチマークで4%以上の性能向上を達成した。これは、データプライバシーを保ちながらも、ドメイン間一般化性能を著しく向上させた。

ABSTRACT

Unsupervised domain adaptation has been widely adopted to generalize models for unlabeled data in a target domain, given labeled data in a source domain, whose data distributions differ from the target domain. However, existing works are inapplicable to face recognition under privacy constraints because they require sharing sensitive face images between two domains. To address this problem, we propose a novel unsupervised federated face recognition approach (FedFR). FedFR improves the performance in the target domain by iteratively aggregating knowledge from the source domain through federated learning. It protects data privacy by transferring models instead of raw data between domains. Besides, we propose a new domain constraint loss (DCL) to regularize source domain training. DCL suppresses the data volume dominance of the source domain. We also enhance a hierarchical clustering algorithm to predict pseudo labels for the unlabeled target domain accurately. To this end, FedFR forms an end-to-end training pipeline: (1) pre-train in the source domain; (2) predict pseudo labels by clustering in the target domain; (3) conduct domain-constrained federated learning across two domains. Extensive experiments and analysis on two newly constructed benchmarks demonstrate the effectiveness of FedFR. It outperforms the baseline and classic methods in the target domain by over 4% on the more realistic benchmark. We believe that FedFR will shed light on applying federated learning to more computer vision tasks under privacy constraints.

研究の動機と目的

• ラベル付きソースドメインとラベルなしターゲットドメインがプライバシー保護ドメインに分散している状況における顔認識におけるドメインシフトの課題に対処すること。
• 顔画像の生データを共有する必要がある従来の自己教師ありドメイン適応手法がプライバシー規制に違反するという制限を克服すること。
• データ漏洩を防ぐために、生データを共有せず、ラベル付きソースドメインからラベルなしターゲットドメインへ知識を転送できるフェデレーテッドラーニングフレームワークの開発。
• 特にソースドメインのデータ量が著しく多い場合に生じるデータの不均衡に起因する性能低下を緩和するため、ドメイン制約損失（DCL）を設計すること。
• 事前学習済みソースモデルの特徴に基づいてガイドされた強化された階層的クラスタリングアルゴリズムを用いて、ラベルなしターゲットデータの疑似ラベル付与の精度を向上させること。

提案手法

• 教師あり学習を用いて、ラベル付きソースドメインデータで深層顔認識モデルを事前学習する。
• 距離制約を備えた強化された階層的クラスタリングアルゴリズムを適用し、事前学習済みソースモデルの特徴を用いて、ラベルなしターゲットドメインのサンプルに対して正確な疑似ラベルを生成する。
• ソースドメインとターゲットドメインが協働して学習を行うフェデレーテッドラーニングプロセスを開始する。ソースドメインではラベル付きデータ、ターゲットドメインでは疑似ラベル付きデータを用い、モデルパラメータのみを共有する。
• ドメイン制約損失（DCL）を導入し、ソースドメインのモデルがその大量のデータに過剰に適合するのを防ぎ、グローバルモデルと整合性を持たせることで、ターゲットドメインの一般化性能を向上させる。
• 中央サーバーが両ドメインからのモデル更新を集約し、グローバルモデルを再配布することで、モデル通信に限定することでデータプライバシーを確保する。
• エンドツーエンドのパイプラインを構築する：(1) ソースの事前学習、(2) クラスタリングによるターゲットの疑似ラベル付与、(3) DCL正則化付きの反復的フェデレーテッド知識蒸留。

実験結果

リサーチクエスチョン

• RQ1 顔画像の生データをドメイン間で共有できない厳密なデータプライバシー制約下でも、顔認識における自己教師ありドメイン適応を効果的に適用できるか？
• RQ2 ターゲットドメインにラベルなしで、ソースドメインに著しく多くのデータがある状況において、フェデレーテッドラーニングをどのように自己教師ありドメイン適応に適応できるか？
• RQ3 距離制約を備えた強化された階層的クラスタリングは、ラベルなしターゲット顔データの疑似ラベル付与精度をどの程度向上できるか？
• RQ4 ソースドメイン学習にドメイン制約損失（DCL）を導入することで、特にデータ不均衡が顕著な状況下で、ターゲットドメインの性能が著しく向上するか？
• RQ5 提案されたフェデレーテッドフレームワークは、現実的でプライバシー制約のある顔認識シナリオにおいて、標準的なファインチューニング法やベースラインのドメイン適応手法を上回る性能を発揮できるか？

主な発見

• FedFRは、より現実的であるFedFR-Lベンチマークにおいて、ベースラインおよび古典的手法を4%以上上回り、プライバシー制約下でも顕著な性能向上を示した。
• ドメイン制約損失（DCL）の導入により、FedFR-LベンチマークでFAR=0.01における認証精度が0.43%絶対値向上し、特にデータ量が少ないターゲットドメインで最大の向上が観察された。
• FedFR-Lベンチマークにおいて、FedFRはアフリカデータセットでランク-1精度93.26%を達成し、DCLを含まないベースライン手法よりも1.79%の向上を示した。
• アブレーションスタディの結果、事前学習、クラスタリング、フェデレーテッドラーニング、DCLの各モジュールが性能向上に段階的に寄与しており、特にデータ不均衡が顕著な状況ではDCLの影響が最大であった。
• フェデレーテッドプロセスからソースドメインが欠落すると、深刻な記憶の消失（catastrophic forgetting）が発生し、アフリカデータセットでの性能が著しく低下した。これは、安定した知識転送のためにはソースドメインの存在が不可欠であることを示している。
• 実験の結果、FedFRはTAR@FAR=0.1, 0.001など、複数の評価プロトコルにおいても強力な性能を維持しており、実世界の環境における頑健性と一般化能力を確認した。