[논문 리뷰] What Do We Mean by Generalization in Federated Learning?

Honglin Yuan, Warren R. Morningstar외 2명|arXiv (Cornell University)|2021. 10. 27.

Privacy-Preserving Technologies in Data참고 문헌 85인용 수 12

한 줄 요약

이 논문은联邦학습(Federated Learning)에서 두 가지 별개의 일반화 갭을 분리하는 프레임워크를 제안한다: 샘플 외 갭(참여하는 클라이언트 간 성능 차이)과 참여 갭(참여하는 클라이언트와 비참여 클라이언트 간의 차이). 연구는 다양한 연합학습 데이터셋에서 뚜렷한 참여 갭이 존재함을 입증하며, 특히 자연스럽게 분할된 데이터에서 두드러진다. 또한 외부 사용자 정보가 필요 없이 실제 세계의 데이터 분포 패턴을 모방하는 합성 데이터 생성 방법인 의미적 분할(Semantic Partitioning)을 제안하여, 더 현실적인 일반화 연구를 가능하게 한다.

ABSTRACT

Federated learning data is drawn from a distribution of distributions: clients are drawn from a meta-distribution, and their data are drawn from local data distributions. Thus generalization studies in federated learning should separate performance gaps from unseen client data (out-of-sample gap) from performance gaps from unseen client distributions (participation gap). In this work, we propose a framework for disentangling these performance gaps. Using this framework, we observe and explain differences in behavior across natural and synthetic federated datasets, indicating that dataset synthesis strategy can be important for realistic simulations of generalization in federated learning. We propose a semantic synthesis strategy that enables realistic simulation without naturally-partitioned data. Informed by our findings, we call out community suggestions for future federated learning works.

연구 동기 및 목표

• 연합학습에서 일반화 갭 간의 명확한 구분이 부족한 데 대비하여, 특히 간과당한 참여 갭을 다루기 위해.
• 클라이언트가 메타-모집단에서 추출되고, 그들의 데이터는 국지적 분포에서 추출된다는 가정 하에, 연합학습 데이터를 분포의 분포로 모델링하기 위해.
• 참여 갭이 모델 성능에 상당한 영향을 미치며, 기존의 FL 평가 프레임워크에서 자주 간과됨을 경험적으로 입증하기 위해.
• 자연스럽게 분할된 데이터가 필요 없이도 현실적인 일반화 행동을 시뮬레이션할 수 있도록 의미적 분할 전략을 제안하기 위해.
• 데이터 이질성과 일반화 행동에 대한 통찰을 기반으로 향후 연합학습 연구에 실질적인 권고안을 제공하기 위해.

제안 방법

• 일반화를 측정하기 위해 세 가지 분할을 제안: 훈련 손실, 샘플 외 손실(참여 클라이언트에서의 손실), 참여 손실(비참여 클라이언트에서의 손실).
• 참여 갭을 참가 클라이언트와 비참여 클라이언트 간 기대 위험의 차이로 정의하며, 클라이언트 데이터 분포에 대한 메타-분포를 사용해 수식화한다.
• 의미적 분할을 도입: 가우시안 혼합 모델을 사용해 이미지 콘텐츠 등과 같은 의미적 유사성 기반으로 데이터를 클러스터링하고, KL 발산을 기반으로 최적의 다중 파artite 매칭을 수행하는 합성 데이터 생성 방법.
• variational autoencoders (VAEs)와 IWAE 기반 엔트로피 추정을 사용해 자연스럽게 분할된, 문법적으로 분할된, 의미적으로 분할된 클라이언트 간의 데이터 분포 엔트로피를 비교한다.
• 다중 파artite 매칭 문제를 효율적으로 해결하기 위해 점진적 이분 매칭 히우리스틱을 적용하여, 클라이언트 클러스터 간 KL 발산을 최소화한다.
• 정확도와 손실 등의 지표를 사용해, 이미지 4개, 텍스트 2개 총 6개의 연합학습 작업에서 보류된 클라이언트 데이터에 대한 일반화 갭을 평가한다.

실험 결과

연구 질문

• RQ1 자연스럽게 분할된 데이터셋과 합성적으로 분할된 데이터셋에서, 샘플 외 갭과 참여 갭의 크기와 행동 양상은 어떻게 다를까?
• RQ2 입력 분포 엔트로피에서의 데이터 이질성이 참여 갭의 존재와 크기를 설명하는 데 얼마나 기여하는가?
• RQ3 의미적 분할이라는 합성 데이터 생성 전략이 자연스럽게 분할된 데이터에 의존하지 않고도 실제 세계의 연합학습 데이터와 유사한 일반화 행동을 생성할 수 있는가?
• RQ4 클라이언트 수와 클라이언트 다양성 등의 요소가 참여 갭의 크기에 미치는 영향은 어떠한가?
• RQ5 참여 갭을 간과할 경우, 연합학습 모델 평가 및 향후 FL 벤치마크 설계에 어떤 영향을 미칠까?

주요 결과

• 6개의 연합학습 작업 전반에 걸쳐 뚜렷한 참여 갭이 존재하며, 이미지 및 텍스트 작업에서 참여 클라이언트와 비참여 클라이언트 간 정확도 차이가 종종 10퍼센트를 초과한다.
• 자연스럽게 분할된 데이터셋은 합성적으로 분할된 데이터보다 낮은 클라이언트 데이터 엔트로피(40 Nats)를 보이며, 실제 세계 데이터에서 더 강한 데이터 상관관계와 비IIDs 구조를 나타낸다.
• 의미적 분할은 합성 데이터와 실제 세계 일반화 행동 간 격차를 줄이며, 중간 수준의 엔트로피(45 Nats)를 달성하고 실제 데이터 분포를 더 잘 모방한다.
• 라벨 기반 분할은 의미적 분할보다 더 높은 참여 갭을 초래한다. 이는 유사한 상관관계와 비IIDs 데이터 패턴 때문이기 때문이다.
• 참여 갭은 데이터 이질성, 특히 입력 분포 엔트로피와 강하게 상관되며, 연합학습에서 일반화의 중요한데 이전에 간과당한 차원이다.
• 본 연구는 많은 기존 FL 벤치마크가 라벨 기반 분할 전략에 의존함에 따라 과도하게 단순화된 데이터 분할 전략으로 인해 진정한 일반화 행동을 포착하지 못하고 있음을 드러냈다.