[논문 리뷰] Federated Continual Learning with Adaptive Parameter Communication.

Jaehong Yoon, Wonyong Jeong외 3명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 17

한 줄 요약

이 논문은 신경망 가중치를 전역 공유 파라미터와 희소한 작업별 전용 파라미터로 분해하여 간섭을 줄이고 클라이언트 간에 효율적인 지식 전이를 가능하게 하는, 적응형 파라미터 통신(Adaptive Parameter Communication, APC)을 제안한다. APC는 기존의 분산 학습 및 지속 학습 방법에 비해 통신 비용을 크게 줄이며 뛰어난 성능을 달성한다.

ABSTRACT

There has been a surge of interest in continual learning and federated learning, both of which are important in training deep neural networks in real-world scenarios. Yet little research has been done regarding the scenario where each client learns on a sequence of tasks from private local data. This problem of federated continual learning poses new challenges to continual learning, such as utilizing knowledge and preventing interference from tasks learned on other clients. To resolve these issues, we propose a novel federated continual learning framework, Federated continual learning with Adaptive Parameter Communication, which additively decomposes the network weights into global shared parameters and sparse task-specific parameters. This decomposition allows to minimize interference between incompatible tasks, and also allows inter-client knowledge transfer by communicating the sparse task-specific parameters. Our federated continual learning framework is also communication-efficient, due to high sparsity of the parameters and sparse parameter update. We validate APC against existing federated learning and local continual learning methods under varying degrees of task similarity across clients, and show that our model significantly outperforms them with a large reduction in the communication cost.

연구 동기 및 목표

• 클라이언트가 비공개 데이터로부터 순차적으로 학습하고 상충되는 작업 간의 간섭을 피해야 하는 분산 지속 학습의 과제를 해결한다.
• 다른 클라이언트에서 학습된 작업 간의 간섭을 최소화하면서 효과적인 클라이언트 간 지식 전이를 가능하게 한다.
• 제한된 대역폭 환경에서 실용적으로 구현 가능한 통신 효율적인 프레임워크를 설계한다.
• 지속 학습 중에 최소한의 파라미터 교환으로도 클라이언트 간 지식 유지 균형을 유지한다.

제안 방법

• 작업 간 상충 지식을 분리하기 위해 네트워크 가중치를 전역 공유 파라미터와 희소한 작업별 전용 파라미터로 분해한다.
• 지식 전이를 위해 통신 비용을 낮추기 위해 오직 희소한 작업별 전용 파라미터만 클라이언트 간에 공유한다.
• 누적 학습이 가능하게 하기 위해 추가적 분해를 사용하여 전역 파라미터에서 치명적인 망각을 방지한다.
• 높은 영향력을 지닌 희소한 작업별 전용 업데이트를 우선적으로 전송하는 적응형 통신 전략을 적용한다.
• 모든 클라이언트가 자신의 희소한 작업별 전용 파라미터를 유지하면서도, FedAvg와 유사한 방식으로 업데이트되는 공유 전역 모델을 유지한다.
• 희소성의 특성을 활용하여 모델 업데이트 크기를 줄여 분산 환경에서의 통신 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다른 클라이언트 간 상충되는 작업 간의 간섭을 효과적으로 줄일 수 있는 분산 지속 학습 프레임워크는 가능한가?
• RQ2 오직 희소한 작업별 전용 파라미터만을 사용할 때 지식 전이의 정도는 어느 정도인가?
• RQ3 정확도와 통신 비용 측면에서 제안된 방법이 표준 분산 학습 및 로컬 지속 학습과 비교해 어떻게 성능을 내는가?
• RQ4 작업별 전용 파라미터의 희소성이 성능 손실 없이 통신 오버헤드를 크게 줄일 수 있는가?

주요 결과

• APC는 클라이언트 간 작업 유사도의 다양성에 관계없이 기존의 분산 학습 및 로컬 지속 학습 방법보다 뛰어난 성능을 보인다.
• 작업별 전용 파라미터의 높은 희소성과 그 업데이트로 인해 통신 비용이 크게 감소한다.
• 희소한 작업별 전용 파라미터를 통한 통신을 통해 지식 전이가 효과적으로 가능해져 이후 작업의 성능 향상이 이루어진다.
• 전역 및 희소한 작업별 전용 파라미터로의 분해로 인해 상충되는 작업 간의 간섭이 최소화된다.
• 클라이언트 간 데이터 분포가 다를 경우에도 순차적 작업을 거쳐 강력한 성능 유지를 유지한다.
• 모델 정확도를 훼손하지 않으면서도 통신 효율성이 향상되어 대역폭이 제한된 환경에 적합한 솔루션이다.