[論文レビュー] Model Zoo: A Growing "Brain" That Learns Continually

R. Ramesh, Pratik Chaudhari|arXiv (Cornell University)|Jun 6, 2021

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本論文では、災難的忘却を軽減し、前向き・後向きの転移を向上させるために、タスク固有のモデルのアンサンブルを拡大する連続学習フレームワークであるModel Zooを提案する。AdaBoostにインspiredして、現在のアンサンブルで低精度を示す過去のタスクを選び、新規タスクと共同で訓練することで、ベンチマーク全体で最先端の性能を達成しており、Split-miniImageNetでは既存手法と比較して30%の精度向上を達成している。

ABSTRACT

This paper argues that continual learning methods can benefit by splitting the capacity of the learner across multiple models. We use statistical learning theory and experimental analysis to show how multiple tasks can interact with each other in a non-trivial fashion when a single model is trained on them. The generalization error on a particular task can improve when it is trained with synergistic tasks, but can also deteriorate when trained with competing tasks. This theory motivates our method named Model Zoo which, inspired from the boosting literature, grows an ensemble of small models, each of which is trained during one episode of continual learning. We demonstrate that Model Zoo obtains large gains in accuracy on a variety of continual learning benchmark problems. Code is available at https://github.com/grasp-lyrl/modelzoo_continual.

研究の動機と目的

• タスクごとのモデル容量の割り当てを再考することで、連続学習における災難的忘却を解消すること。
• 複数のタスクを1つのモデルで同時に学習する際、タスクの類縁度が一般化誤差に与える影響を調査すること。
• 前向きおよび後向きの転移を活用するスケーラブルで効率的な連続学習手法を、モデルアンサンブルを用いて開発すること。
• 既存の連続学習設定における仮定に挑戦し、単純な個別学習が複雑な連続学習手法を上回ることを示すこと。
• データリプレイとタスクの相乗効果が、単一エポック設定ですら顕著に性能を向上させることを実証すること。

提案手法

• Model Zooは、小さなタスク固有のモデルのアンサンブルを拡大し、各モデルは学習エポックごとに一度だけ訓練され、その後更新されない。
• 各エポックにおいて、現在のタスクと、現在のアンサンブルで低精度を示す過去のタスクのサブセットを対象に、新しいモデルを訓練する。
• 過去のタスクを共同訓練に選ぶプロセスはAdaBoostにインspiredされており、性能が低いタスクを優先する。
• 推論では、ターゲットタスクを学習したすべてのモデルの予測を平均化する。
• 生成的リプレイを使用する手法とは異なり、過去のタスクデータを完全にリプレイする。
• タスクごとにモデル容量を明示的に分離することで、干渉を低減し、タスク間の相乗的関係を活用する。

実験結果

リサーチクエスチョン

• RQ1 1つのモデル上で複数のタスクを同時に学習させると一般化誤差にどのような影響を与えるか、またいつそれが悪影響を及ぼすか？
• RQ2 複数のモデルにモデル容量を分割することで、単一モデルアプローチと比較して連続学習のパフォーマンスが向上するか？
• RQ3 タスクの類縁度が、連続学習における共同学習の成功にどの程度影響を与えるか？
• RQ4 個別に学習した単純なベースライン（各タスクごとに小さなモデルを別々に訓練）が、複雑な連続学習手法を上回るか？
• RQ5 完全なデータリプレイとモデルアンサンブルの組み合わせは、忘却の軽減および転移の強化にどの程度効果的か？

主な発見

• 連続学習を用いず、データリプレイも行わない個別学習ベースライン（Isolated learner）は、平均して既存の連続学習手法を8%以上上回る性能を示す。
• Model Zooは、Split-miniImageNetベンチマークにおいて、既存手法と比較して平均タスク精度で30%の向上を達成している。
• Model Zooは完全なデータリプレイを採用しており、単一エポックおよび複数エポックの両設定で、Isolatedバージョンと比較して約10%の精度向上を示している。
• 本手法は前向きおよび後向きの転移が強く現れ、タスク間での知識共有が効果的に行われていることが示された。
• 複数エポック学習した大規模モデルですら、単一エポックで学習した小さな個別モデルに劣る性能を示しており、現在のベンチマークが未訓練である可能性を示唆している。
• 実験的結果から、タスクが相乗的でない場合、単一モデルにおけるタスク競合が性能を劣化させることを確認でき、タスク類縁度に関する理論的分析が妥当であることが裏付けられた。