[논문 리뷰] Federated Face Recognition

Fan Bai, Jiaxiang Wu외 3명|arXiv (Cornell University)|2021. 05. 06.

Face recognition and analysis참고 문헌 23인용 수 10

한 줄 요약

이 논문은 데이터 프라이버시를 유지하면서도 모델 성능을 유지를 또는 향상시키는 새로운 피어드 학습 프레임워크인 FedFace를 제안한다. 클라이언트 드리프트를 효율적으로 완화하기 위해 부분적 피어드 모멘타ム(PFM)을 도입하고, 사전 검증 데이터를 사용해 동적으로 집계 가중치를 최적화하는 피어드 검증(FV)을 제안하여 다양한 벤치마크에서 중심화된 학습과 비교해도 성능이 유사하거나 뛰어나다.

ABSTRACT

Face recognition has been extensively studied in computer vision and artificial intelligence communities in recent years. An important issue of face recognition is data privacy, which receives more and more public concerns. As a common privacy-preserving technique, Federated Learning is proposed to train a model cooperatively without sharing data between parties. However, as far as we know, it has not been successfully applied in face recognition. This paper proposes a framework named FedFace to innovate federated learning for face recognition. Specifically, FedFace relies on two major innovative algorithms, Partially Federated Momentum (PFM) and Federated Validation (FV). PFM locally applies an estimated equivalent global momentum to approximating the centralized momentum-SGD efficiently. FV repeatedly searches for better federated aggregating weightings via testing the aggregated models on some private validation datasets, which can improve the model's generalization ability. The ablation study and extensive experiments validate the effectiveness of the FedFace method and show that it is comparable to or even better than the centralized baseline in performance.

연구 동기 및 목표

• 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하여 얼굴 인식 분야에서의 데이터 프라이버시에 대한 우려를 해결하기 위해.
• 데이터 프라이버시가 핵심이지만 피어드 학습 환경에서 다루지 않은 바가 많은 얼굴 인식 분야에 피어드 학습을 적응시키기 위해.
• 다양한 당사자 간 얼굴 인식에서 흔히 발생하는 비i.i.d. 데이터 환경에서 클라이언트 드리프트를 극복하기 위해.
• 데이터 프라이버시를 훼손하지 않은 채로 피어드 얼굴 인식에서의 모델 일반화 능력을 향상시키기 위해.
• 실제 환경에 구현 가능한 실용적이고 효율적이며 프라이버시를 보장하는 학습 프레임워크를 개발하기 위해.

제안 방법

• 클라이언트 드리프트를 줄이면서도 학습 효율성을 유지하기 위해 국소적으로 누적된 국소 기울기를 사용해 글로벌 모멘타ム을 추정하는 부분적 피어드 모멘타임(PFM)을 제안한다.
• 사용자 고유의 검증 데이터셋을 활용해 학습 중 최적의 집계 가중치를 탐색하는 동적 가중치 전략인 피어드 검증(FV)을 도입한다.
• 서버가 여러 클라이언트(당사자)를 조율하는 크로스실 피어드 학습 설정을 사용한다. 각 클라이언트는 고유한 데이터와 모델을 보유한다.
• 최적의 집계 가중치 탐색을 안정화하고 향상시키기 위해 이동 평균 정규화와 국소 노름 스코어링을 FV에 적용한다.
• 두 단계 학습 프로세스를 적용한다: PFM를 사용한 국소 모델 업데이트 이후 FV로 최적화된 가중치를 사용한 글로벌 집계.
• 표준 얼굴 인식 백본(예: IR-18, IR-34)과 손실 함수(ArcFace, CosFace)를 FedFace 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 피어드 학습이 원시 데이터를 공유하지 않으면서도 얼굴 인식에 효과적으로 적용될 수 있는가?
• RQ2 피어드 얼굴 인식에서 학습 효율성을 희생시키지 않고 클라이언트 드리프트를 어떻게 완화할 수 있는가?
• RQ3 사용자 고유의 검증 데이터를 활용하면 피어드 얼굴 인식에서 모델 일반화 능력을 향상시킬 수 있는가?
• RQ4 PFM와 FV는 다양한 환경에서 성능 향상에 어떻게 상호 보완하고 작용하는가?
• RQ5 비i.i.d. 데이터 및 다양한 시스템 설정 하에서 FedFace는 정확도와 강건성 면에서 중심화된 학습을 능가하는가?

주요 결과

• FedFace는 MS1M, GA, VGG 데이터셋을 포함한 모든 평가 벤치마크에서 중심화된 기준보다 유사하거나 뛰어난 성능을 기록했다.
• PFM는 FedAvg에 비해 훈련 손실을 크게 감소시켰으며, 여러 설정에서 중심화된 학습보다도 최종 손실이 낮아, 훨씬 뛰어난 피팅 능력을 보였다.
• 국소 노름 정규화를 적용한 FV는 다른 정규화 전략보다 일관되게 뛰어난 성능을 보였으며, 최고의 모델 일반화 능력을 달성했다.
• FV의 가중치는 동적으로 조정된다: MS1M 데이터를 보유한 당사자들은 초기에 더 높은 가중치를 받으며, 학습이 진행됨에 따라 점차 동일한 값으로 수렴한다.
• 동기화 간격이 증가함에 따라(FedAvg의 경우 K=100, 400, 1600) FedFace는 강력한 성능을 유지하는 반면, FedAvg는 심각하게 성능이 저하되어 PFM과 FV의 강건성을 입증했다.
• 12개의 클라이언트가 참여하는 환경에서도 FedFace는 FedAvg를 능가하고 중심화된 기준과 동일하거나 이를 초월하는 성능을 보여, 대규모 피어드 환경에서의 확장성과 효과성을 확인했다.