[논문 리뷰] Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift

Sean Augenstein, Andrew Hard외 2명|arXiv (Cornell University)|2021. 11. 23.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 5

한 줄 요약

이 논문은 훈련과 추론 간 분포 이탈을 줄이기 위해 탈중앙화된(기기 내부) 데이터와 선택적 중심화된 데이터를 융합하는 하이브리드 피어 페어드 학습 프레임워크를 제안한다. 예제 전송, 기울기 전송, 모델 평균화와 같은 전략을 사용함으로써, 사용자 프라이버시를 유지하면서도 모델 일반화 능력을 향상시켜 얼굴 속성 예측과 같은 최종 작업에서 더 나은 성능을 달성한다.

ABSTRACT

With privacy as a motivation, Federated Learning (FL) is an increasingly used paradigm where learning takes place collectively on edge devices, each with a cache of user-generated training examples that remain resident on the local device. These on-device training examples are gathered in situ during the course of users' interactions with their devices, and thus are highly reflective of at least part of the inference data distribution. Yet a distribution shift may still exist; the on-device training examples may lack for some data inputs expected to be encountered at inference time. This paper proposes a way to mitigate this shift: selective usage of datacenter data, mixed in with FL. By mixing decentralized (federated) and centralized (datacenter) data, we can form an effective training data distribution that better matches the inference data distribution, resulting in more useful models while still meeting the private training data access constraints imposed by FL.

연구 동기 및 목표

• 기기 내부 데이터가 추론 데이터에 존재하는 핵심 예시(예: 부정적 또는 희귀 케이스)를 누락할 수 있는 피어 페어드 학습에서 잔여 분포 이탈을 해결한다.
• 원시 사용자 데이터에 직접 접근하지 않으면서도 고품질의 중심화된 데이터를 활용함으로써 강력한 프라이버시 보장을 유지한다.
• 피어 페어드 학습 제약 조건과 호환되는 방식으로 탈중앙화된 데이터와 중심화된 데이터를 전략적으로 혼합함으로써 모델의 유용성과 강건성을 향상시킨다.
• 데이터 최소화 원칙을 위반하지 않으면서도 효과적인 융합을 가능하게 하는 실용적인 혼합 전략—예제 전송, 기울기 전송, 모델 평균화—를 탐색한다.

제안 방법

• 프라이버시 제약 조건을 존중하면서 중심화된 데이터를 피어 페어드 학습에 통합하기 위한 세 가지 전략—예제 전송, 기울기 전송, 모델 평균화—를 제안한다.
• 기본 피어 페어드 학습 알고리즘으로 FedAvg를 사용하고, 이를 기기 내부 모델 업데이트와 중심화된 데이터 학습을 동기적으로 번갈아 수행하도록 수정한다.
• 예제 전송을 통해 중심화된 데이터 예시를 샘플링하고 로컬 클라이언트 업데이트에 삽입함으로써 서버에서 원시 데이터가 유출되지 않도록 보장한다.
• 기울기 전송을 적용하여 중심화된 학습에서 유도된 모델 기울기만 공유함으로써 원시 데이터 폭로를 최소화하면서 지식 전이를 가능하게 한다.
• 모델 평균화를 통해 피어 페어드 학습에서 유도된 글로벌 모델과 중심화된 모델을 융합하여 일반화 능력이 향상된 복합 모델을 생성한다.
• 차별적 프라이버시 보호 기법—예: 차등 프라이버시 및 피어 페어드 개인 생성 모델—을 도입하여 민감한 중심화된 데이터를 추가로 보호한다.

실험 결과

연구 질문

• RQ1 중앙집중형 데이터를 효과적이고 프라이버시에 유의미하게 통합하여 분포 이탈을 줄일 수 있는가? 이는 사용자 프라이버시를 훼손하지 않으면서도 가능할까?
• RQ2 예제 전송, 기울기 전송, 모델 평균화 중 어떤 혼합 전략이 최종 추론 작업에서 모델 정확도와 강건성 측면에서 가장 뛰어난 성능을 보일까?
• RQ3 탈중앙화된 훈련 데이터에서 누락되거나 불균형한 데이터(예: 부정적 예시)를 중심화된 데이터로 얼마나 잘 보완할 수 있을까?
• RQ4 선택적 필터링 또는 중심화된 데이터의 표적적 수집이 프라이버시 보장 방식으로 피어 페어드 데이터와 융합될 경우 모델 성능 향상에 기여할 수 있을까?
• RQ5 기기 내부 데이터의 분포가 시간이 지남에 따라 변화하는 동적이고 지속적인 학습 환경에서 혼합 프로세스는 어떻게 적응시킬 수 있을까?

주요 결과

• 하이브리드 접근 방식은 특히 희귀하거나 부족한 클래스에서의 성능 향상에 기여하여 훈련 데이터와 추론 데이터 간의 분포 이탈을 크게 줄였다.
• CelebA 데이터셋에서 예제 전송과 모델 평균화 전략이 기울기 전송 전략보다 최종 모델 정확도에서 뛰어난 성능을 보였다. 특히 속성 예측 작업에서 두드러졌다.
• 모델 평균화가 프라이버시와 성능 사이의 최적의 트레이드오프를 달성했으며, 중심화된 데이터나 기울기의 직접 노출을 방지하기 때문이다.
• 예를 들어, 미소를 지지 않은 얼굴(부정적 예시)이 누락된 경우와 같은 레이블 편향 유지 편향을 보완하기 위해 표적 중심화된 예제를 피어 페어드 데이터에 보완함으로써 효과적으로 완화되었다.
• 실험 결과, 실제 사용자 행동을 반영하는 피어 페어드 데이터와 전문가나 희귀 케이스를 반영하는 코어티드 중심화된 데이터를 조합함으로써 더 높은 추론 정확도와 강건성을 확보한 모델이 도출되었다.
• 희귀하지만 중요한 시나리오(예: 악천후 주행 조건)가 훈련에 더 잘 반영되도록 함으로써, 이 프레임워크는 안전이 중요한 응용 분야에서 실용적인 구현이 가능하게 했다.