[논문 리뷰] Federated and Generalized Person Re-identification through Domain and Feature Hallucinating

Fengxiang Yang, Zhun Zhong외 3명|arXiv (Cornell University)|2022. 03. 05.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 개인 재식별을 위한 새로운 피어드 페더레이티드 도메인 일반화 방법인 도메인 및 특징 환영(DFH)을 제안한다. 이 방법은 클라이언트 간에 도메인 수준의 특징 통계(DFS)를 공유하여 모델의 일반화 능력을 향상시킨다. 무작위 재가중을 통해 새로운 도메인 통계를 합성하고, 애핀 변환을 통해 특징 환영을 적용함으로써 국소 학습 중에 다양하고 유사도를 유지하는 특징을 생성한다. 이로 인해 원본 데이터 泄露 없이 네 가지 대규모 재식별 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we study the problem of federated domain generalization (FedDG) for person re-identification (re-ID), which aims to learn a generalized model with multiple decentralized labeled source domains. An empirical method (FedAvg) trains local models individually and averages them to obtain the global model for further local fine-tuning or deploying in unseen target domains. One drawback of FedAvg is neglecting the data distributions of other clients during local training, making the local model overfit local data and producing a poorly-generalized global model. To solve this problem, we propose a novel method, called "Domain and Feature Hallucinating (DFH)", to produce diverse features for learning generalized local and global models. Specifically, after each model aggregation process, we share the Domain-level Feature Statistics (DFS) among different clients without violating data privacy. During local training, the DFS are used to synthesize novel domain statistics with the proposed domain hallucinating, which is achieved by re-weighting DFS with random weights. Then, we propose feature hallucinating to diversify local features by scaling and shifting them to the distribution of the obtained novel domain. The synthesized novel features retain the original pair-wise similarities, enabling us to utilize them to optimize the model in a supervised manner. Extensive experiments verify that the proposed DFH can effectively improve the generalization ability of the global model. Our method achieves the state-of-the-art performance for FedDG on four large-scale re-ID benchmarks.

연구 동기 및 목표

• 국소 데이터 과적합으로 인한 피어드 학습에서의 개인 재식별 성능 저하 문제를 해결하기 위해.
• 원시 데이터를 중앙집중화하지 않고도 피어드 환경에서 도메인 일반화를 가능하게 하여 프라이버시를 보호하기 위해.
• 국소 학습 중에 다양한, 알려지지 않은 도메인 분포를 시뮬레이션하여 글로벌 모델의 일반화 능력을 향상시키기 위해.
• 다양한 도메인 간 특징 환영 동안 쌍별 유사도를 유지할 수 있는 방법을 개발하기 위해.

제안 방법

• 원시 데이터를 전송하지 않고도 클라이언트 간에 도메인 수준의 특징 통계(DFS) — 각 정체성당 평균과 분산 — 를 공유한다.
• 공유된 DFS를 무작위로 선택된 가중치로 재가중하여 새로운 도메인 통계를 합성하는 도메인 환영(DH)을 도입한다.
• 합성된 새로운 통계를 사용해 국소 특징에 애핀 변환을 적용함으로써 특징 분포를 다양화하는 특징 환영(FH)을 적용한다.
• 환영된 특징은 원래의 쌍별 유사도를 유지하므로 국소 학습 중에 지도 학습 최적화가 가능하다.
• 학습 파이프라인은 DFH를 사용한 국소 학습, 모델 및 DFS의 클라이언트 → 서버 업데이트, 서버 측 모델 집계, 그리고 글로벌 모델과 업데이트된 DFS의 재배포를 번갈아 수행한다.
• 다양한 에포크를 반복함으로써 국소 및 글로벌 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 원시 데이터 중앙집중화 없이 도메인 수준의 특징 통계를 공유하면 피어드 개인 재식별에서 일반화 능력 향상에 기여하는가?
• RQ2 국소 학습 중에 과적합을 방지하기 위해 다양한, 현실적인 학습 샘플을 어떻게 생성할 수 있는가?
• RQ3 특징 환영 과정에서 쌍별 유사도를 유지하면 다중 도메인 재식별에서 모델의 일반화 능력 향상에 기여하는가?
• RQ4 제안된 방법이 피어드 도메인 일반화 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 DFH 방법은 피어드 도메인 일반화 설정에서 네 가지 대규모 재식별 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• MS+C2+M → C3 설정에서 56.5%의 랭크-1 정확도와 31.3%의 mAP를 기록하여 베이스라인 방법을 초월한다.
• 수렴 분석 결과, MS+C2+M → C3 설정에서 35번째 에포크에 모델이 안정화됨을 확인하여 효과적인 학습 동역학을 입증한다.
• D2D를 사용한 이미지 복원 실험 결과, 공유된 DFS에서 복원된 이미지는 흐릿하고 식별 불가능하여 DFS가 민감한 정보를 泄露하지 않음을 확인한다.
• t-SNE 시각화 결과, DFH는 베이스라인 mixup 방법보다 더 다양한 특징을 생성하며, 도메인 간 일반화 능력은 향상되고 내부 클래스 유사도도 유지됨을 확인한다.