[논문 리뷰] Federated Reconstruction: Partially Local Federated Learning

Karan Singhal, Hakim Sidahmed외 4명|arXiv (Cornell University)|2021. 02. 05.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 24

한 줄 요약

이 논문은 부분적으로 로컬인 피어드 학습(federated learning)을 위한 모델에 종속되지 않는 프레임워크인 피어드 리콘스트럭션(FedRecon)을 소개한다. 이 프레임워크는 글로벌 모델 파라미터를 학습하면서 기기 내에서 로컬 파라미터를 재구성함으로써, 크로스디바이스 환경에서 빠른 개인화와 확장성을 가능하게 한다. 실세계 모바일 키보드 배포에서 표현 추천의 클릭스루율(click-through-rate)이 29.3% 향상되어 최신 기술 성능을 달성하였으며, 통신량을 줄이는 데에도 기여하였다.

ABSTRACT

Personalization methods in federated learning aim to balance the benefits of federated and local training for data availability, communication cost, and robustness to client heterogeneity. Approaches that require clients to communicate all model parameters can be undesirable due to privacy and communication constraints. Other approaches require always-available or stateful clients, impractical in large-scale cross-device settings. We introduce Federated Reconstruction, the first model-agnostic framework for partially local federated learning suitable for training and inference at scale. We motivate the framework via a connection to model-agnostic meta learning, empirically demonstrate its performance over existing approaches for collaborative filtering and next word prediction, and release an open-source library for evaluating approaches in this setting. We also describe the successful deployment of this approach at scale for federated collaborative filtering in a mobile keyboard application.

연구 동기 및 목표

• 대규모 크로스디바이스 환경에서 실용적이지 않은 전면적 파라미터 전송 또는 상태 기반 클라이언트를 요구하는 기존 피어드 학습 방법의 한계를 해결하기 위해.
• 추가적인 통신 없이도 새로운 익명의 클라이언트에 대해 빠른 개인화를 가능하게 하여 실세계 응용 프로그램에 실용적인 구현을 지원하기 위해.
• 글로벌 모델 집계와 기기 내 로컬 파라미터 재구성 사이의 균형을 이루는 모델에 종속되지 않는 프레임워크를 개발하여, 데이터 이질성과 개인정보 보호 제약에 대한 강건성을 향상시키기 위해.
• 특히 모바일 애플리케이션에서의 협업 필터링에 대해 생산 환경에서의 확장성과 성능을 입증하기 위해.
• 부분적으로 로컬인 피어드 학습 분야의 연구 및 구현 장벽을 낮추기 위해 오픈소스 라이브러리를 공개하기 위해.

제안 방법

• 프레임워크는 모델 파라미터를 글로벌 및 로컬 구성요소로 분할하며, 학습 중에는 오직 글로벌 파라미터만 서버로 전송된다.
• 클라이언트는 현재의 글로벌 파라미터와 자신의 로컬 데이터를 사용하여 로컬 파라미터를 재구성함으로써, 로컬 가중치를 공유하지 않고도 기기 내에서 개인화가 가능하다.
• 이 방법은 모델에 종속되지 않는 메타학습과의 연결을 통해 정당화되며, 테스트 시점의 재구성은 소수의 샘플을 통한 최적화를 통한 빠른 적응과 대응한다.
• 글로벌 집계와 로컬 재구성 사이를 번갈아가며 수행하는 실용적 알고리즘인 FedRecon을 제안하며, 로컬 파라미터가 클라이언트 데이터와 일치하도록 재구성 손실(reconstruction loss)을 사용한다.
• 학습 과정은 이중 최적화 목표를 사용한다: 글로벌 파라미터는 피어드 어워징(federated averaging)을 통해 업데이트되고, 로컬 파라미터는 각 클라이언트에서 재구성 최적화를 통해 최적화된다.
• 프레임워크는 새로운 클라이언트에서 추론을 가능하게 하며, 이는 글로벌 모델과 자신의 데이터만으로도 로컬 파라미터를 재구성할 수 있도록 함으로써 이전의 통신이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 피어드 학습 프레임워크가 상태 기반 클라이언트나 전면적 파라미터 전송 없이도 익명의 클라이언트에 대해 빠른 개인화를 달성할 수 있는가?
• RQ2 피어드 리콘스트럭션의 성능은 정확도와 통신 효율성 측면에서 중심화된 학습, 표준 피어드 학습, 기타 개인화 방법과 비교해 어떻게 되는가?
• RQ3 고도로 이질적인 클라이언트와 부분적 참가가 이루어지는 실세계 대규모 크로스디바이스 배포 환경에 대해 이 프레임워크가 확장 가능한가?
• RQ4 메타학습과의 연결이 관찰된 재구성 과정에서의 빠른 적응 행동을 설명할 수 있는가?
• RQ5 특히 데이터 희소성과 클라이언트 탈퇴와 같은 문제를 고려할 때, 생산 환경에 이 시스템을 구현하는 데 실질적인 과제와 상충 관계는 무엇인가?

주요 결과

• 실세계 모바일 키보드 배포에서 표현 추천의 클릭스루율(click-through-rate)이 29.3% 향상되어 실용적 영향을 입증하였다.
• 기존의 중심화된 학습 및 표준 피어드 학습보다 익명의 클라이언트에서 성능이 뛰어나 일반화 및 개인화 능력 향상을 보였다.
• 최소한의 통신으로 새로운 클라이언트에 대한 빠른 적응을 가능하게 하여, 다른 개인화 기법과 유사한 성능을 달성하면서도 통신량을 줄였다.
• 생산 환경에서 수억 명의 클라이언트에 대해 성공적으로 확장되었으며, 부분적 참가 및 불안정한 클라이언트 가용성도 지원하였다.
• 공개된 오픈소스 라이브러리는 다양한 작업과 모델에 대해 FedRecon의 복제 및 확장 가능성을 높여 연구자들이 접근하기 쉽게 하였다.
• 실험 결과 FedRecon이 로컬 학습과 글로벌 학습 사이를 효과적으로 보간하며, 데이터 이질성에 대한 강건성 향상과 개인정보 위험 감소에 기여하는 것으로 나타났다.