[논문 리뷰] Improving Federated Learning Face Recognition via Privacy-Agnostic Clusters

Qiang Meng, Feng Zhou외 4명|arXiv (Cornell University)|2022. 01. 29.

Face recognition and analysis인용 수 15

한 줄 요약

이 논문은 원시 임bedding 대신 민감도 무관 클러스터링된 클래스 중심을 통신하는 방식으로, 성능을 향상시키면서도 차별적 프라이버시를 보장하는 피어드 페이스(PrivacyFace)라는 피어드 얼굴 인식 프레임워크를 제안한다. Differentially Private Local Clustering (DPLC) 기법을 사용해 노이즈 보호 클러스터를 생성하고, 공감 기반 손실을 통해 클라이언트 특징을 정렬함으로써, IJB-B와 IJB-C에서 각각 +9.63% 및 +10.26%의 TAR@FAR=1e-4 향상을 달성했으며, 통신 오버헤드는 극히 적고 강력한 프라이버시 보장을 확보했다.

ABSTRACT

The growing public concerns on data privacy in face recognition can be greatly addressed by the federated learning (FL) paradigm. However, conventional FL methods perform poorly due to the uniqueness of the task: broadcasting class centers among clients is crucial for recognition performances but leads to privacy leakage. To resolve the privacy-utility paradox, this work proposes PrivacyFace, a framework largely improves the federated learning face recognition via communicating auxiliary and privacy-agnostic information among clients. PrivacyFace mainly consists of two components: First, a practical Differentially Private Local Clustering (DPLC) mechanism is proposed to distill sanitized clusters from local class centers. Second, a consensus-aware recognition loss subsequently encourages global consensuses among clients, which ergo results in more discriminative features. The proposed framework is mathematically proved to be differentially private, introducing a lightweight overhead as well as yielding prominent performance boosts ( extit{e.g.}, +9.63\% and +10.26\% for TAR@FAR=1e-4 on IJB-B and IJB-C respectively). Extensive experiments and ablation studies on a large-scale dataset have demonstrated the efficacy and practicability of our method.

연구 동기 및 목표

• 공유 모델 파ram에 의해 노출되는 민감한 생체 정보를 방지하기 위해, 피어드 얼굴 인식에서 프라이버시-유용성 역설을 해결한다.
• 클라이언트 간 특징 공간의 겹침과 제한된 글로벌 음성 클래스 인식으로 인한 성능 저하 문제를 해결한다.
• 개인 정체성을暴露하지 않고도 클라이언트가 협업적으로 분별 가능한 얼굴 임베딩을 학습할 수 있도록, 통신 효율적이고 프라이버시 보장 기반의 방법을 설계한다.
• 새로운 클러스터링 및 손실 기반 메커니즘을 통해, 전역 학습 수준의 높은 인식 정확도를 달성하면서도 엄격한 차별적 프라이버시를 유지한다.

제안 방법

• 클러스터의 l2-감도 비례 노이즈를 적용해 프라이버시 비용을 최소화하는 Differentially Private Local Clustering (DPLC)를 제안한다.
• 클러스터 크기를 제한하고 충분한 커버리지 확보를 통해 l2-감도를 감소시켜, 개별 클래스에 대한 차별적 프라이버시보다 낮은 노이즈와 높은 유용성을 달성한다.
• 원시 클래스 중심 대신 정제된 클러스터 중심($\hat{\bm{p}}$)만 통신하여 프라이버시 泄露 위험을 감소시킨다.
• 클라이언트 임베딩 간 정렬을 장려하는 공감 기반 인식 손실을 도입하여 특징의 분별성을 향상시킨다.
• 새로운 손실과 클러스터 통신를 활용해, 피어드 평균(FedAvg)을 사용해 글로벌 모델을 학습하면서도 프라이버시를 유지한다.
• 수학적으로 이 프레임워크가 $\epsilon = 1.7 \times 10^{-7}$의 프라이버시 예산을 충족함을 증명하며, 이는 난이도 높은 개별 클래스 노이즈보다 훨씬 낮은 값이다.

실험 결과

연구 질문

• RQ1 공유 모델 파ram을 통해 개인 정체성 정보를暴露하지 않고도 피어드 얼굴 인식 성능을 향상시킬 수 있는가?
• RQ2 피어드 얼굴 인식에서 클래스 중심 클러스터링의 프라이버시 비용을 낮추면서도 높은 유용성을 유지할 수 있는가?
• RQ3 원시 클래스 중심 대신 정제된 기반 클러스터 표현을 통신하면, 얼굴 인식에서 더 나은 일반화 및 강건성 확보가 가능한가?
• RQ4 공감 기반 손실이 클라이언트 간 특징 정렬과 인식 정확도 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 강력한 차별적 프라이버시를 확보하면서도 전역 학습 수준의 성능을 달성할 수 있는가?

주요 결과

• ArcFace를 사용할 경우, IJB-B에서 +9.63%, IJB-C에서 +10.26%의 TAR@FAR=1e-4 향상을 보이며, 전통적인 피어드 학습 대비 뚜렷한 성능 향상을 입증했다.
• PrivacyFace($\bm{\phi}+\hat{\bm{p}}$)의 성능는 비프라이버시 전역 학습 기준선과 거의 구분되지 않아, 강력한 프라이버시-유용성 트레이드오프를 보여준다.
• DPLC 기법은 난이도 높은 개별 클래스 노이즈 대비 프라이버시 비용을 1.7e-7 배수로 감소시켜 효율성과 보안성을 입증했다.
• 최적의 클러스터 마진 $\rho$는 약 1.3이며, 이 값 이하 또는 초과 시 과적합 또는 단순 클러스터링으로 인해 성능 저하가 발생한다.
• 프레임워크는 통신 오버헤드를 극히 낮게 유지하며, 라운드당 약 ~16KB의 추가 데이터만 필요해 확장성이 뛰어나다.
• 제거 실험 결과, DPLC와 공감 기반 손실 모두 필수적임을 확인했으며, 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생한다.