[논문 리뷰] Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning

Bokun Wang, Zhuoning Yuan외 2명|arXiv (Cornell University)|2021. 06. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 8

한 줄 요약

이 논문은 모델에 종속되지 않은 메타학습(MAML)과 개인화된 피어드 페더레이티드 러닝을 위한 메모리 기반 최적화 방법(MOML 및 LocalMOML)을 제안하며, 작업 및 데이터 포인트에 대해 일정한 미니배치 크기를 유지하면서 수렴을 달성한다. 이 방법들은 연속 학습 및 크로스디바이스/크로스실 페더레이티드 러닝 환경에서 오차가 점차 줄어들게 하여 이전의 스트로스틱 MAML 방법에 비해 향상된 이론적 수렴 보장과 통신 효율성을 제공한다.

ABSTRACT

In recent years, model-agnostic meta-learning (MAML) has become a popular research area. However, the stochastic optimization of MAML is still underdeveloped. Existing MAML algorithms rely on the ``episode'' idea by sampling a few tasks and data points to update the meta-model at each iteration. Nonetheless, these algorithms either fail to guarantee convergence with a constant mini-batch size or require processing a large number of tasks at every iteration, which is unsuitable for continual learning or cross-device federated learning where only a small number of tasks are available per iteration or per round. To address these issues, this paper proposes memory-based stochastic algorithms for MAML that converge with vanishing error. The proposed algorithms require sampling a constant number of tasks and data samples per iteration, making them suitable for the continual learning scenario. Moreover, we introduce a communication-efficient memory-based MAML algorithm for personalized federated learning in cross-device (with client sampling) and cross-silo (without client sampling) settings. Our theoretical analysis improves the optimization theory for MAML, and our empirical results corroborate our theoretical findings. Interested readers can access our code at \url{https://github.com/bokun-wang/moml}.

연구 동기 및 목표

• 작업 및 데이터 포인트에 대해 점차 증가하는 배치 크기를 요구하는 스트로스틱 MAML 알고리즘의 수렴 보장 부족 문제를 해결한다.
• 한 번의 반복에서 이용 가능한 작업 수가 적은 연속 학습 및 크로스디바이스 페더레이티드 러닝 환경에 적합한 최적화 방법을 개발한다.
• 실제 배치 크기 제약 조건 하에서의 수렴과 함께, MAML 최적화의 이론적 이해를 향상시킨다.
• 크로스디바이스(클라이언트 샘플링) 및 크로스실(클라이언트 샘플링 없음) 환경 모두에서 개인화된 페더레이티드 러닝을 위한 통신 효율적인 알고리즘을 설계한다.
• 기존 MAML 수렴 경계에 비해 개선된 이론적 분석을 제공하며, 특히 유한한 작업 수와 비독립 동일 분포가 아닌 설정에서의 성능을 향상시킨다.

제안 방법

• 과거 기울기의 메모리를 유지하여 최적화를 안정화하고 일정한 배치 크기로 수렴을 가능하게 하는 메모리 기반 스트로스틱 알고리즘인 MOML을 제안한다.
• 클라이언트 당 로컬 메모리를 활용하여 통신을 줄이고 수렴을 향상시키기 위해 설계된 페더레이티드 러닝을 위한 변형인 LocalMOML을 도입한다.
• 이전 작업의 기울기 정보를 저장하고 재사용하는 메모리 버퍼를 사용하여 분산을 줄이고, 작은 고정된 $ K $ 및 $ B $ 조건에서도 수렴을 가능하게 한다.
• 최적화 문제를 이중 수준의 조합으로 설정하고, 편향을 줄이며 수렴 속도를 향상시키기 위해 메모리와 함께 스트로스틱 근사 기법을 적용한다.
• 특히 클라이언트 샘플링이 있는 크로스디바이스 페더레이티드 러닝에서 메모리 업데이트를 압축하고 선택적으로 전송하여 통신 효율성을 높인 변형을 설계한다.
• 부드러움, 유한한 기울기, 분산에 대한 가정을 바탕으로 기울기의 기대 노름을 분석하고 오차 항목을 경계하여 이론적 수렴 경계를 확립한다.

실험 결과

연구 질문

• RQ1 반복마다 샘플링된 작업 수와 데이터 포인트 수가 일정한 스트로스틱 MAML 알고리즘이, 점차 증가하는 배치 크기를 요구하지 않고도 수렴할 수 있는가?
• RQ2 메모리 기반 최적화는 연속 학습 및 참여 클라이언트 수가 제한된 개인화된 페더레이티드 러닝 환경에서 수렴을 보장하기 위해 어떻게 적응시킬 수 있는가?
• RQ3 실제 배치 크기 제약 조건과 유한한 작업 설정 하에서 메모리 기반 MAML 알고리즘의 이론적 수렴 속도는 어떠한가?
• RQ4 BSGD 및 BSpiderBoost와 같은 기존 MAML 변형에 비해 제안된 방법은 수렴성과 실용성 측면에서 어떻게 비교되는가?
• RQ5 개인화된 페더레이티드 러닝에서 수렴성과 낮은 오차를 유지하면서도 통신 효율성을 유지할 수 있는가?

주요 결과

• 제안된 MOML 알고리즘은 $\mathcal{O}(1/\epsilon^2)$회의 반복과 일정한 $K$ 및 $B$ 조건 하에서 $\epsilon$-정류점으로 수렴하며, 이는 이전 방법이 $K=\mathcal{O}(1/\epsilon^2)$를 요구하는 것에 비해 크게 향상된 성능이다.
• 이론적 분석 결과, MOML는 $\eta \leq \min\left\{\frac{C_4}{H}, \frac{C_5\beta}{\mathbb{I}[\beta \in (0,1)]}\right\}$ 조건 하에서 수렴하며, 표준 부드러움 및 유한성 가정 하에서 오차가 점차 줄어들게 보장한다.
• LocalMOML는 크로스디바이스 및 크로스실 페더레이티드 러닝 환경 모두에서 수렴을 달성하며, 특히 선택적 메모리 업데이트와 압축을 통해 통신 효율성을 유지한다.
• 사인파형 회귀 및 피어샷 학습 벤치마크에서의 실험 결과, MOML는 작업당 $K=1$ 또는 $K=3$ 데이터 포인트 조건에서도 잘 일반화됨을 확인하였다.
• 낮은 데이터 및 비독립 동일 분포가 아닌 설정에서 기준 MAML 및 BSGD/BSpiderBoost에 비해 수렴 속도와 최종 테스트 정확도에서 뛰어난 성능을 보였다.
• 논문은 Per-FedAvg(Fallah 등, 2020b)의 증명에서 심각한 결함을 수정하며, 모든 클라이언트가 참여하지 않는 한 그들의 등가성 가정이 타당하지 않음을 입증하고, 수정된 분석을 제공한다.