[논문 리뷰] Federated Learning with Domain Generalization

Liling Zhang, Xinyu Lei외 3명|arXiv (Cornell University)|2021. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 28

한 줄 요약

이 논문은 FedADG를 제시한다. 이는 클래스별로 프라이버시를 보존하는 방식으로 동적으로 학습된 참조 분포에 소스 도메인 분포를 정렬하여 보안 유지하며, 보이지 않는 도메인 일반화를 향상시키는 연합적 적대적 도메인 일반화 프레임워크이다.

ABSTRACT

Federated Learning (FL) enables a group of clients to jointly train a machine learning model with the help of a centralized server. Clients do not need to submit their local data to the server during training, and hence the local training data of clients is protected. In FL, distributed clients collect their local data independently, so the dataset of each client may naturally form a distinct source domain. In practice, the model trained over multiple source domains may have poor generalization performance on unseen target domains. To address this issue, we propose FedADG to equip federated learning with domain generalization capability. FedADG employs the federated adversarial learning approach to measure and align the distributions among different source domains via matching each distribution to a reference distribution. The reference distribution is adaptively generated (by accommodating all source domains) to minimize the domain shift distance during alignment. In FedADG, the alignment is fine-grained since each class is aligned independently. In this way, the learned feature representation is supposed to be universal, so it can generalize well on the unseen domains. Intensive experiments on various datasets demonstrate that FedADG has comparable performance with the state-of-the-art.

연구 동기 및 목표

• 클라이언트 데이터가 중앙 집중화될 수 없는 연합 학습 설정에서 도메인 일반화를 촉진한다.
• 동적으로 학습되는 참조에 소스 도메인 분포를 정렬하기 위한 연합적 적대적 도메인 일반화(FedADG) 프레임워크를 제안한다.
• 미지의 타깃 도메인에 대한 판별력과 일반화를 향상시키기 위한 클래스-별 정렬을 가능하게 한다.
• 데이터를 로컬에 보관하고 모델 매개변수만 교환하여 데이터 프라이버시를 보존한다.
• FL 설정에서 최첨단 도메인 일반화 방법과의 경쟁력 있는 성능을 보인다.

제안 방법

• 각 클라이언트에 특징 추출기, 판별기, 분포 생성기, 분류기로 구성된 Federated Adversarial Domain Generalization(FedADG)을 도입한다.
• 실제 데이터의 특징을 생성된 참조 분포로 정렬하기 위해 적대적 학습 네트워크(ALN)를 사용한다.
• 정렬 왜곡을 줄이기 위해 모든 소스 도메인 분포를 중심으로 하는 동적으로 생성된 참조 분포를 채택한다.
• 적대적 학습 중에 레이블 정보(원-핫 벡터)를 사용하여 클래스-별 정렬을 도입한다.
• L_FedADG = L_adv_d + L_adv_g + lambda_0 L_adv_f + lambda_1 L_err로 결합 손실로 학습하며, L_adv_d, L_adv_g, L_adv_f는 적대적 손실이고 L_err은 레이블 스무딩이 적용된 교차 엔트로피이다.
• 클라이언트 데이터에 중앙 집중식으로 접근하지 않고도 적대적 네트워크의 연합 학습을 가능하게 하는 FedALN을 구현한다.
• (F, C, G)의 주기적 집계와 D의 로컬 업데이트를 포함하는 서버–클라이언트 학습 프로토콜을 제공한다.

실험 결과

연구 질문

• RQ1 데이터를 원시 형태로 공유하지 않고 연합 학습에서 도메인 일반화를 어떻게 달성할 수 있는가?
• RQ2 동적으로 생성된 참조 분포가 소스 도메인 간 정렬을 개선하고 특징 왜곡을 줄일 수 있는가?
• RQ3 클래스-별 정렬이 글로벌 정렬에 비해 보지 못한 타깃 도메인에 대한 일반화를 더 잘 이끄는가?
• RQ4 FedADG는 표준 DG 벤치마크에서 중앙 집중식 DG 방법 및 기존 FL Baselines에 비해 어떤 성능을 보이는가?
• RQ5 적응적으로 생성된 참조와 고정 참조 간 차이가 타깃 도메인 성능에 어떤 영향을 미치는가?

주요 결과

• FedADG는 표준 DG 데이터셋에서 최첨단 메서드에 비해 경쟁력 있는 도메인 일반화 성능을 달성한다.
• AlexNet 백본을 사용한 VLCS에서 FedADG(분산형)의 평균 정확도는 75.09이고, ResNet18 백본은 평균 정확도가 76.28이다.
• FedADG는 VLCS에서 여러 중앙 집중식 및 분산형 baselines(FedAvg 등)보다 평균 정확도에서 우수한 성능을 보인다.
• 적응형 참조 분포는 고정 참조보다 정렬 왜곡이 작고 더 판별적이며 클래스-별로 정렬된 특징을 제공한다.
• 클래스-별 정렬과 적대적으로 학습된 도메인 불변 특징은 보이지 않는 도메인 일반화 향상에 기여한다.
• 대표적인 예에서 FedADG의 평균 정확도가 분산형 FedAvg에서 FedADG로 상승하는 것을 보여준다(예: AlexNet에서 VLCS의 54.79에서 75.09로).