[논문 리뷰] Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning

Wenke Huang, Mang Ye외 2명|arXiv (Cornell University)|2023. 09. 28.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 비동일 환경에서 일반화 능력을 향상시키기 위해 로그 및 특징 수준에서 교차상관관계와 인스턴스 유사도 분포를 정렬하는 데에 공개된 비라벨 데이터를 활용하는 새로운 피드포워드 학습 프레임워크인 FCCL+를 제안한다. 또한 국소 업데이트 중 치명적인 잊음 현상을 완화하기 위해 피드포워드 비타겟 디스틸레이션을 도입하여 다양한 도메인 이동 시나리오에서 통신 및 계산 오버헤드가 낮은 상태에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Federated learning is an important privacy-preserving multi-party learning paradigm, involving collaborative learning with others and local updating on private data. Model heterogeneity and catastrophic forgetting are two crucial challenges, which greatly limit the applicability and generalizability. This paper presents a novel FCCL+, federated correlation and similarity learning with non-target distillation, facilitating the both intra-domain discriminability and inter-domain generalization. For heterogeneity issue, we leverage irrelevant unlabeled public data for communication between the heterogeneous participants. We construct cross-correlation matrix and align instance similarity distribution on both logits and feature levels, which effectively overcomes the communication barrier and improves the generalizable ability. For catastrophic forgetting in local updating stage, FCCL+ introduces Federated Non Target Distillation, which retains inter-domain knowledge while avoiding the optimization conflict issue, fulling distilling privileged inter-domain information through depicting posterior classes relation. Considering that there is no standard benchmark for evaluating existing heterogeneous federated learning under the same setting, we present a comprehensive benchmark with extensive representative methods under four domain shift scenarios, supporting both heterogeneous and homogeneous federated settings. Empirical results demonstrate the superiority of our method and the efficiency of modules on various scenarios.

연구 동기 및 목표

• 피드포워드 학습에서 모델 및 데이터 비동일성의 과제를 해결하여 일반화 능력과 안정성을 향상시키기 위해.
• 비동일 모델 간의 통신 장벽을 극복하기 위해 공개된 비라벨 데이터를 활용하여 지식 전이를 실현하기 위해.
• 내부 도메인 성능을 손상시키지 않으면서 국소 모델 업데이트 중 치명적인 잊음 현상을 완화하기 위해.
• 표준화된 도메인 이동 시나리오 하에서 비동일 피드포워드 학습을 평가하기 위한 종합적인 벤치마크를 구축하기 위해.
• 미래의 비동일 피드포워드 학습 연구를 위한 재현 가능하고 효율적이며 효과적인 기준 기반 모델을 제공하기 위해.

제안 방법

• 비동일 모델 간의 표현 간 교차상관관계 행렬을 공개된 비라벨 데이터를 사용하여 구성하여 비동일 모델 간의 통신을 가능하게 한다.
• 로그 및 특징 수준에서 인스턴스 유사도 분포를 정렬하여 도메인 간 일반화 능력 향상과 도메인 내 분류 능력 향상을 도모한다.
• 타겟 클래스 감독에 의존하지 않고 이전 글로벌 모델 상태로부터 지식을 디스틸레이션하는 피드포워드 비타겟 디스틸레이션(Federated Non-Target Distillation, FNTD)을 도입하여 최적화 갈등을 방지한다.
• 온도 조절 소프트 레이블 디스틸레이션 손실을 사용하여 도메인 간 지식을 유지하면서도 도메인 내 학습을 위한 레이블 감독을 유지한다.
• 지식 전달의 안정성을 높이기 위해 현재 라운드의 모델(θ^e)이 아닌 이전 라운드의 글로벌 모델(θ^{e-1})에서 동적 티처 모델을 활용한다.
• 최소한의 계산 오버헤드로 인해 동일 및 비동일 설정 모두를 지원하는 모듈러한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 서로 다른 아키텍처와 데이터 분포를 가진 비동일 피드포워드 모델 간에 효과적으로 통신할 수 있는 방법은 무엇인가?
• RQ2 비동일 모델 간 표현을 정렬하는 최적의 방법은 무엇인가, 이를 통해 내부 도메인 및 외부 도메인 성능을 동시에 향상시킬 수 있는가?
• RQ3 국소 모델 업데이트 중 치명적인 잊음 현상을 어떻게 완화할 수 있으며, 이를 통해 내부 도메인 정확도가 떨어지지 않도록 할 수 있는가?
• RQ4 티처 모델 선택이 국소 학습 중 도메인 간 지식 보존에 어떤 역할을 하는가?
• RQ5 표준 디스틸레이션과 비교했을 때 비타겟 클래스 기반 디스틸레이션은 안정성과 성능 측면에서 어떻게 다른가?

주요 결과

• FCCL+는 Digits, Office31, CIFAR-100 포함 네 가지 도메인 이동 시나리오에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 내부 도메인 및 외부 도메인 정확도 모두 일관된 향상을 보였다.
• 비라벨 공개 데이터의 사용은 모델 비동일성 조건 하에서도 효과적인 모델 간 통신을 가능하게 하여 통신 비용을 증가시키지 않으면서도 일반화 능력을 크게 향상시켰다.
• 피드포워드 비타겟 디스틸레이션은 최적화 갈등을 피함으로써 표준 지식 디스틸레이션을 능가했으며, 특히 도메인 이동이 심한 상황에서 두드러진 성능 향상을 보였다.
• 온도 하이퍼파rameter τ = 3이 최적의 성능을 낳았으며, 정보 유지와 분포 스무딩 간의 균형을 잘 맞췄다.
• FNTD에서 θ^{e-1}을 티처 모델로 사용할 경우 θ^e를 사용하는 것보다 내부 및 외부 도메인 지식 보존이 더 우수했다.
• FCCL+는 FedProx 및 기타 베이스라인보다 도메인 이동이 심한 시나리오인 Office31에서 뛰어난 성능을 보였으며, 계산 비용이 낮고 파라미터 정규화가 필요 없었다.