[논문 리뷰] A distillation-based approach integrating continual learning and federated learning for pervasive services

Anastasiia Usmanova, François Portet외 2명|arXiv (Cornell University)|2021. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 33

한 줄 요약

이 논문은 모바일 기기의 범용 HAR에서 연합 지속학습을 위한 증류 기반 방법(FLwF-2T)을 제시하며, 재앙적 망각(catastrphic forgetting)을 완화하기 위해 과거 클라이언트 모델과 서버 글로벌 모델의 두 교사를 사용하는 두-교사 구성(two-teacher setup)을 이용한다.

ABSTRACT

Federated Learning, a new machine learning paradigm enhancing the use of edge devices, is receiving a lot of attention in the pervasive community to support the development of smart services. Nevertheless, this approach still needs to be adapted to the specificity of the pervasive domain. In particular, issues related to continual learning need to be addressed. In this paper, we present a distillation-based approach dealing with catastrophic forgetting in federated learning scenario. Specifically, Human Activity Recognition tasks are used as a demonstration domain.

연구 동기 및 목표

• 인간 활동 인식(HAR)과 같은 범용 컴퓨팅 작업에서 연합 지속 학습(FCL)의 재앙적 망각 문제를 해결한다.
• FL가 클라이언트 간에 과거 지식을 공유하고 보지 않은 작업에서 성능을 향상시킬 수 있는지 조사한다.
• 클라이언트가 학습한 일반 특징을 강화하기 위해 서버에서 생성된 글로벌 모델을 두 번째 교사로 활용한다.

제안 방법

• 과거 지식의 변화를 제약하기 위해 Learning without Forgetting(LwF)에서 영감을 받은 증류 기반 FL 방법을 제안한다.
• 각 클라이언트가 과거 클라이언트 모델(교사 1)과 서버 글로벌 모델(교사 2) 모두로부터 증류 손실을 통해 학습하는 FLwF-2T를 도입한다.
• 최종 손실 L_FLwF-2T를 L_FLwF-2T = α L_class + β L_dis_cl + (1−α−β) L_dis_serv로 정의하고, α, β가 교사들의 기여도와 분류 항을 조절한다.
• 증류를 위한 온도 스케일링된 로짓(온도 T)과 소프트 타깃을 사용하여 이전 작업 성능을 보존한다.
• 모바일 기기에 적합한 CNN 기반 아키텍처를 사용하여 UCI HAR 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 클래스 증분 설정에서 연합 학습이 클라이언트 측의 재앙적 망각을 예방하는 데 도움이 되는가?
• RQ2 FL이 클라이언트 간 과거 지식의 공유를 촉진하여 미지의 작업에서 성능을 향상시킬 수 있는가?
• RQ3 서버의 글로벌 모델이 추가 교사로 작용하여 클라이언트의 성능을 향상시키고 망각을 줄일 수 있는가?

주요 결과

• FLwF-2T는 일반적으로 Client 1의 망각 저항을 향상시키며 보고된 CL 지표에서 F_2^1(0.418)로 FLwF(0.595)보다 낮은 망각 지표를 달성한다.
• 일반화 테스트에서 FLwF-2T/FT + exemplars는 클라이언트 특화 지식 흐름과 서버 지식을 결합할 때 우수한 일반화 성능을 달성했다.
• 두 교사(클라이언트 과거 모델과 서버 모델)를 사용하는 것이 새로운 작업을 배우면서도 이전에 학습한 정보를 유지하는 면에서 단일 교사 기반선보다 우수할 수 있다.
• 여러 전략에서 표본 메모리는 FL 및 CL 지표 전반의 성능을 추가로 향상시키며, 종종 FLwF-2T/FT + ex가 강한 결과를 보인다.
• 제안된 FLwF-2T 프레임워크는 과거 클라이언트 모델과 라운드 중 서버가 제공하는 글로벌 모델에 의존하기 때문에 계산적으로 경량으로 모바일 기기에 적합하다.