[論文レビュー] Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning

Sean M. Hendryx, Dharma Raj KC+2 more|arXiv (Cornell University)|Aug 31, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、クライアントが独立して新しいクラスを学習し、プロトタイプベクトルを介して知識を効率的に共有する分散的でクラス増分学習のフレームワーク「フェデレーテッド・レコノイサンス」を提案する。オンラインプロトタイプ平均化を用いたプロトタイプネットワークは、OmniglotでSOTA手法を22%以上、mini-ImageNetで33%以上上回り、勾配ベースのチューニングを一切行わず、低コストで高精度な分散継続的学習を実現する。

ABSTRACT

We describe federated reconnaissance, a class of learning problems in which distributed clients learn new concepts independently and communicate that knowledge efficiently. In particular, we propose an evaluation framework and methodological baseline for a system in which each client is expected to learn a growing set of classes and communicate knowledge of those classes efficiently with other clients, such that, after knowledge merging, the clients should be able to accurately discriminate between classes in the superset of classes observed by the set of clients. We compare a range of learning algorithms for this problem and find that prototypical networks are a strong approach in that they are robust to catastrophic forgetting while incorporating new information efficiently. Furthermore, we show that the online averaging of prototype vectors is effective for client model merging and requires only a small amount of communication overhead, memory, and update time per class with no gradient-based learning or hyperparameter tuning. Additionally, to put our results in context, we find that a simple, prototypical network with four convolutional layers significantly outperforms complex, state of the art continual learning algorithms, increasing the accuracy by over 22% after learning 600 Omniglot classes and over 33% after learning 20 mini-ImageNet classes incrementally. These results have important implications for federated reconnaissance and continual learning more generally by demonstrating that communicating feature vectors is an efficient, robust, and effective means for distributed, continual learning.

研究の動機と目的

• クライアントが段階的に新しいクラスを観測し、再訓練を伴わずに知識を共有できる、現実世界のシステムにおける分散的継続的学習の課題に対処すること。
• 適応されたmini-ImageNetおよびOmniglotベンチマークを用いて、フェデレーテッド・レコノイサンスのスケーラブルな評価フレームワークを提案すること。
• プロトタイプネットワークと効率的な知識統合を用いて、フェデレーテッド継続的学習の強力なベースラインを評価・確立すること。
• 特徴ベクトルの通信が、勾配ベースの手法やパrameter共有と比較して、崩壊的忘却を最小限に抑える点でより効果的であることを示すこと。
• オンライン平均化によるプロトタイプの統合が、低メモリ、低通信量、高精度な知識統合を実現できることを示すこと。

提案手法

• クライアントが段階的にクラスを学習し、プロトタイプベクトルのみを共有する、mini-ImageNetおよびOmniglotに基づくフェデレーテッド・レコノイサンスベンチマークを用いる。
• プロトタイプネットワークを変更し、勾配更新やハイパーパramータチューニングを回避するオンライン平均化による埋め込み学習とクラスプロトタイプの計算を実現する。
• 全クライアントのプロトタイプベクトルを平均化することで知識統合を実施し、共有モデルが以前に学習済みのすべてのクラスを認識できるようにする。
• 学習効率と記憶保持能力を測るため、前向きおよび後向きの転移精度を評価する。
• 事前学習段階でのkショットデータ拡張により、さまざまなk値においてプロトタイプネットワークの性能が向上する。
• オンラインプロトタイプ計算における数値的安定性の問題が、わずかな精度低下の原因であると特定され、今後の研究で堅牢な数値手法の開発が提案される。

実験結果

リサーチクエスチョン

• RQ1 シンプルなプロトタイプネットワークにオンラインプロトタイプ平均化を適用した場合、フェデレーテッドでクラス増分学習を行う環境において、複雑な継続的学習アルゴリズムを上回るか？
• RQ2 フェデレーテッド継続的学習において、特徴ベクトルの通信（プロトタイプ経由）は、パrameter共有や勾配ベースの知識移行と比較してどれほど効果的か？
• RQ3 プロトタイプのオンライン平均化は、メモリおよび通信のオーバーヘッドを最小限に抑えつつ、精度をどの程度保持できるか？
• RQ4 クライアントが1クラスあたり5ショットずつしか見ない状況でも、プロトタイプ共有による集団学習が前向きおよび後向きの転移利得をもたらすか？
• RQ5 4層畳み込みモデルが、能力が低いにもかかわらず、この設定でResNet-18を上回る理由は何か？

主な発見

• 4層のプロトタイプネットワークにオンラインプロトタイプ平均化を適用した場合、600クラスのOmniglotを学習した後、SOTA手法を22%以上上回る精度を達成した。
• mini-ImageNetベンチマークでは、20クラスを段階的に学習した後、同じ手法が33%以上の精度向上を達成し、複雑なベースラインを著しく上回った。
• オンラインプロトタイプ平均化は、浮動小数点の不正確さと崩壊的キャンセルの影響により、わずかだが統計的に有意な精度低下を引き起こした。
• プロトタイプネットワークアプローチは、崩壊的忘却を抑制すると同時に、新しいクラスの認識精度を向上させ、前向きおよび後向きの転移が効果的であることを示した。
• ResNet-18は事前学習データに対して著しく過学習しており、能力が低いにもかかわらず、このタスクでは単純な4層モデルがより効果的であった。
• フェデレーテッド・プロトタイプネットワークは集団的上昇を実現した：複数のクライアントが並列に学習し、プロトタイプを共有することで、1つの成長するクラスセットに対して全体の精度が向上した。1クラスあたり5ショットの限られたデータでも同様の効果が得られた。