[논문 리뷰] Federated Continual Learning via Knowledge Fusion: A Survey

Xin Yang, Hao Yu외 4명|arXiv (Cornell University)|2023. 12. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 종합 검토는 분산형 스트리밍 데이터 환경에서 공간-시간 재앙적 기억상실 문제를 해결하기 위해 지식 융합을 통한 연합 지속 학습(Federated Continual Learning, FCL)을 소개한다. 연구는 동기화 및 이방성 FCL이라는 두 가지 일반적 프레임워크를 제안하며, 기존 방법들을 지식 융합 메커니즘 기반으로 분류하여 이질적인 클라이언트 간에 과거 지식을 유지하면서 지속 학습을 가능하게 하는 통합적 시각을 제공한다.

ABSTRACT

Data privacy and silos are nontrivial and greatly challenging in many real-world applications. Federated learning is a decentralized approach to training models across multiple local clients without the exchange of raw data from client devices to global servers. However, existing works focus on a static data environment and ignore continual learning from streaming data with incremental tasks. Federated Continual Learning (FCL) is an emerging paradigm to address model learning in both federated and continual learning environments. The key objective of FCL is to fuse heterogeneous knowledge from different clients and retain knowledge of previous tasks while learning on new ones. In this work, we delineate federated learning and continual learning first and then discuss their integration, i.e., FCL, and particular FCL via knowledge fusion. In summary, our motivations are four-fold: we (1) raise a fundamental problem called ''spatial-temporal catastrophic forgetting'' and evaluate its impact on the performance using a well-known method called federated averaging (FedAvg), (2) integrate most of the existing FCL methods into two generic frameworks, namely synchronous FCL and asynchronous FCL, (3) categorize a large number of methods according to the mechanism involved in knowledge fusion, and finally (4) showcase an outlook on the future work of FCL.

연구 동기 및 목표

• 연합 지속 학습(Federated Continual Learning, FCL)에서 공간-시간 재앙적 기억상실의 근본적 과제를 규명하고 수식화하는 것: 지역 클라이언트에서의 시간적 기억상실과 이질적인 클라이언트 간 글로벌 집계 과정에서의 공간적 기억상실을 통합적으로 고려한다.
• 기존 FCL 방법들을 동기화 및 이방성 FCL이라는 두 가지 일반적 시스템 프레임워크로 통합하여 체계적인 분석과 비교를 가능하게 하는 것.
• 파라미터 디스틸레이션, 리플레이, 모델 프루닝과 같은 지식 융합 메커니즘 기반으로 FCL 접근 방식을 분류하여 설계 원칙을 명확히 하는 것.
• FCL 분야의 열린 과제와 향후 연구 방향에 대한 종합적 전망을 제공하는 것 — 특히 합리적 협업, 수렴 효율성, 대규모 모델과의 통합 측면에서 고려한다.

제안 방법

• 이중 기억상실 프레임워크 제안: 지역 클라이언트에서의 순차적 과제 학습 중 발생하는 시간적 재앙적 기억상실과 이질적인 클라이언트 간 글로벌 모델 집계 과정에서의 공간적 재앙적 기억상실.
• 동기화 FCL(중앙 집중적 조율)과 이방성 FCL(분산형, 이벤트 기반 업데이트)라는 두 가지 일반적 FCL 시스템 아키텍처 도입을 통해 다양한 통신 패턴을 모델링.
• 지식 디스틸레이션, 경험 리플레이, 파라미터 정규화, 모델 압축과 같은 지식 융합 메커니즘 기반으로 FCL 방법을 분류하여 설계의 다양성을 부각.
• 공동 평균화(FedAvg)를 기준선으로 삼아 공간-시간 기억상실이 모델 성능에 미치는 영향을 실증적으로 평가.
• FCL에서의 프라이버시와 효율성 간의 트레이드오프 분석을 수행하며, 클라이언트 참여 시 통신 효율성과 데이터 품질을 강조.
• 추천 시스템, 대규모 언어 모델(Large Language Models, LLMs), 블록체인 기반 시스템 등 FCL의 신규 응용 분야를 검토하여 실생활 적용 가능성 입증.

Figure 1: Experiment Results. Solid lines represent knowledge retention of clients in time, and dashed lines represent knowledge retention of clients in space. When the data distribution among clients is identical, and the distribution among local tasks is also the same, spatial-temporal catastrophi

실험 결과

연구 질문

• RQ1 공간-시간 재앙적 기억상실은 연합 지속 학습(Federated Continual Learning)에서 어떻게 발생하며, 모델 성능에 어떤 영향을 미치는가?
• RQ2 동기화 및 이방성 FCL 프레임워크 간의 핵심 아키텍처적·운영적 차이점은 무엇이며, 지식 융합에 어떤 영향을 미치는가?
• RQ3 기존 FCL 방법들은 지식 융합 메커니즘을 통해 시간적 기억상실과 공간적 기억상실을 어떻게 완화하는가?
• RQ4 FCL에서 합리적 협업, 수렴 속도, 데이터 품질의 핵심 과제는 무엇이며, 이는 모델 효율성과 프라이버시에 어떤 영향을 미치는가?
• RQ5 FCL는 대규모 언어 모델과 기타 신규 AI 시스템과 어떻게 효과적으로 통합되어 지속적이고 개인정보 보호를 고려한 학습을 지원할 수 있는가?

주요 결과

• 공간-시간 재앙적 기억상실은 FCL 환경에서 모델 성능을 심각하게 떨어뜨리며, 공통 평균화(FedAvg)는 집계 과정에서 파라미터 오버라이팅으로 이전 과제에 대한 기억상실이 심각하게 발생함을 보여준다.
• FCL 방법을 동기화 및 이방성 프레임워크에 통합함으로써 수렴 속도, 통신 오버헤드, 기억상실 완화 효과성 측면에서 뚜렷한 트레이드오프가 드러남.
• 지식 디스틸레이션과 경험 리플레이와 같은 지식 융합 메커니즘은 기억상실 감소에 효과적이지만, 비독립 동일 분포(Non-IID) 데이터 및 동적 클라이언트 참여 조건에서는 성능이 다양하게 나타남.
• 데이터 이질성과 신뢰할 수 없는 클라이언트 기여로 인해 공간적 재앙적 기억상실이 발생하며, 이는 개별 클라이언트의 과제 특화 지식을 글로벌 모델 집계 과정에서 유지하지 못함을 의미함.
• FCL에서의 수렴 시간은 여전히 주요 병목 현상이며, 특히 리플레이 또는 생성적 리플레이를 사용할 경우 반복적인 통신 및 계산으로 인해 다수의 라운드에 걸쳐 지속됨.
• LLM, 추천 시스템, 블록체인 분야의 신규 응용은 가능성 있는 전망을 보이지만, FCL과 대규모 모델의 통합은 현재 연구에서 여전히 탐색 부족하고 제한되어 있음.

Figure 2: Illustration of synchronous federated continual learning scenario , in which all clients share a common task sequence. Different colors represent different tasks in a task sequence. Apparently, “synchronous” means that clients will process the same task in a shared task order, and the prog