[論文レビュー] Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning

Bokun Wang, Zhuoning Yuan+2 more|arXiv (Cornell University)|Jun 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 8

ひとこと要約

本稿では、モデルに依存しないメタラーニング（MAML）およびパーソナライズドフェデレーテッドラーニング向けに、タスクおよびデータポイントのミニバッチサイズを一定に保ったまま収束を達成するメモリベース最適化手法（MOMLおよびLocalMOML）を提案する。これらの手法は、継続的学習およびクロスデバイス／クロスシロのフェデレーテッドラーニング（FL）設定において、誤差が消えることを保証し、従来の確率的MAML手法に比べて理論的収束保証および通信効率が向上する。

ABSTRACT

In recent years, model-agnostic meta-learning (MAML) has become a popular research area. However, the stochastic optimization of MAML is still underdeveloped. Existing MAML algorithms rely on the ``episode'' idea by sampling a few tasks and data points to update the meta-model at each iteration. Nonetheless, these algorithms either fail to guarantee convergence with a constant mini-batch size or require processing a large number of tasks at every iteration, which is unsuitable for continual learning or cross-device federated learning where only a small number of tasks are available per iteration or per round. To address these issues, this paper proposes memory-based stochastic algorithms for MAML that converge with vanishing error. The proposed algorithms require sampling a constant number of tasks and data samples per iteration, making them suitable for the continual learning scenario. Moreover, we introduce a communication-efficient memory-based MAML algorithm for personalized federated learning in cross-device (with client sampling) and cross-silo (without client sampling) settings. Our theoretical analysis improves the optimization theory for MAML, and our empirical results corroborate our theoretical findings. Interested readers can access our code at \url{https://github.com/bokun-wang/moml}.

研究の動機と目的

• タスクおよびデータポイントのバッチサイズを大きくまたは増加させる必要がある、確率的MAMLアルゴリズムにおける収束保証の欠如に対処する。
• 1回のイテレーションで利用可能なタスク数が少ない継続的学習およびクロスデバイスフェデレーテッドラーニングに適した最適化手法を開発する。
• 実用的なバッチサイズ制約下で、MAML最適化の理論的理解を深め、誤差が消える収束を確立する。
• クロスデバイス（クライアントサンプリングあり）およびクロスシロ（クライアントサンプリングなし）の両設定において、パーソナライズドフェデレーテッドラーニング向けに通信効率の高いアルゴリズムを設計する。
• 既存のMAML収束境界を改善する理論的分析を提供し、特に有限タスクおよび非i.i.d.設定において有効であることを示す。

提案手法

• MOMLを提案する。これは、過去の勾配をメモリに保持することで最適化を安定化させ、定数バッチサイズで収束を可能にするメモリベースの確率的アルゴリズムである。
• LocalMOMLを導入する。これは、クライアントごとのローカルメモリを活用することで通信量を削減し、収束性を向上させるためのフェデレーテッドラーニング向け変種である。
• 以前のタスクからの勾配情報をメモリバッファに保存・再利用することで、分散を低減し、小さな固定値 $ K $ および $ B $ でも収束を可能にする。
• 最適化問題を二段階の合成関数として定式化し、バイアスを低減し収束速度を向上させるために、メモリを用いた確率的近似スキームを適用する。
• 特にクライアントサンプリングを伴うクロスデバイスFLにおいて、通信効率を高めるために、メモリ更新を圧縮および選択的に送信する変種を設計する。
• 滑らかさ、勾配の有界性、分散に関する仮定を用いて、勾配の期待ノルムを分析し、誤差項をバウンディングすることで理論的収束境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的MAMLアルゴリズムが、バッチサイズを増加させるのではなく、一定の数のサンプルタスクおよびデータポイントで収束できるか？
• RQ2 メモリベース最適化は、クライアント参加が限られた継続的学習およびパーソナライズドフェデレーテッドラーニング設定において、どのように収束を保証できるか？
• RQ3 現実的なバッチサイズ制約および有限タスク設定下で、メモリベースMAMLアルゴリズムの理論的収束速度はどのようになるか？
• RQ4 BSGD や BSpiderBoost などの既存のMAML変種と比較して、提案手法は収束性および実用性においてどのように優れているか？
• RQ5 パーソナライズドフェデレーテッドラーニングにおいて、収束性と低誤差を維持しながら通信効率を保てるか？

主な発見

• 提案されたMOMLアルゴリズムは、$\mathcal{O}(1/\epsilon^2)$イテレーションで $\epsilon$-停留点に収束し、$K$ および $B$ を一定に保つ。これは、$K=\mathcal{O}(1/\epsilon^2)$ を必要とする従来手法に比べて顕著な改善である。
• 理論的分析により、MOMLは $\eta \leq \min\left\{\frac{C_4}{H}, \frac{C_5\beta}{\mathbb{I}[\beta \in (0,1)]}\right\}$ の条件下で収束し、標準的な滑らかさおよび有界性仮定のもとで誤差が消えることを保証する。
• LocalMOMLはクロスデバイスおよびクロスシロのFL設定両方で収束を達成し、特に選択的メモリ更新と圧縮により通信効率が維持される。
• シヌス波回帰および少サンプル学習ベンチマークにおける実験結果から、MOMLは $K=1$ または $K=3$ のデータポイントでも一般化性能が優れていることが確認された。
• 低データおよび非i.i.d.設定において、ベースラインMAMLおよびBSGD/BSpiderBoostに比べ、収束速度と最終テスト精度の両面で優れた性能を示した。
• 本稿では、Per-FedAvg（Fallahら、2020b）の証明における重大な欠陥を是正し、すべてのクライアントが参加する場合にのみその等式仮定が有効であることを示し、修正された解析を提供した。