[論文レビュー] DualNet: Continual Learning, Fast and Slow

Quang Pham, Liu Chenghao+1 more|arXiv (Cornell University)|Oct 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 60

ひとこと要約

DualNetは、一般表現を学習する遅い自己教師付き学習者と、新しいラベル付きデータへの迅速な適応を行う高速学習者という2系統の継続学習フレームワークをオンラインで同期させて提案します。CORE50とminiImageNetのベンチマークで最先端のベースラインを上回ります。

ABSTRACT

According to Complementary Learning Systems (CLS) theory~\citep{mcclelland1995there} in neuroscience, humans do effective \emph{continual learning} through two complementary systems: a fast learning system centered on the hippocampus for rapid learning of the specifics and individual experiences, and a slow learning system located in the neocortex for the gradual acquisition of structured knowledge about the environment. Motivated by this theory, we propose a novel continual learning framework named "DualNet", which comprises a fast learning system for supervised learning of pattern-separated representation from specific tasks and a slow learning system for unsupervised representation learning of task-agnostic general representation via a Self-Supervised Learning (SSL) technique. The two fast and slow learning systems are complementary and work seamlessly in a holistic continual learning framework. Our extensive experiments on two challenging continual learning benchmarks of CORE50 and miniImageNet show that DualNet outperforms state-of-the-art continual learning methods by a large margin. We further conduct ablation studies of different SSL objectives to validate DualNet's efficacy, robustness, and scalability. Code will be made available upon acceptance.

研究の動機と目的

• Complementary Learning Systems (CLS)理論を用いて、迅速なタスク特異的学習を遅い一般表現学習と分離し、継続学習を動機づける。
• 遅いSSLベースのモジュールを用いて表現学習を分離し、迅速なサンプルごとの適応モジュールで教師あり学習を分離する。
• 同期的に訓練された遅い学習者と速い学習者が、困難なベンチマークで忘却・転移・総合精度を改善することを実証する。
• DualNetの異なるSSL目的関数と最適化手法に対する頑健性を示し、アブレーションと半教師あり設定を分析する。

提案手法

• 2モデルアーキテクチャ：メモリサンプル上の自己教師付き損失で学習する遅い学習器 φ と、ラベル付きデータのためにサンプルごとの変換機構を介して表現を適応させる高速学習器 θ。
• 遅い学習者の目的：自己教師付き損失を採用する。本文はバーロー・トゥインズ風の損失を実装し、等価性を促進し冗長性を低減する。
• 継続学習におけるメモリ分布の進化を考慮して収束を高めるLook-ahead SGDを用いた遅い学習者の最適化。
• 高速学習者の目的：入力に条件づけされたサンプルごとの適応により、タスク識別子を必要とせず新しいラベル付きサンプルから迅速に学習できるよう表現を適応させる。
• 経験リプレイ：新しいラベル付きデータとメモリサンプルを組み合わせ、ソフトラベル損失とKL発散を用いて学習を安定化する。
• 訓練は同期的：遅いSSL目的がバックグラウンドで実行される一方、速い学習者は新しいラベル付きデータで更新され、両方の成分を通じてバックプロパゲーションを行う。

実験結果

リサーチクエスチョン

• RQ1 分離された遅いSSLベースの表現学習と高速なサンプル適応機構を組み合わせることで、最先端手法より継続学習の性能を改善できるか。
• RQ2 遅い学習者と速い学習者の同期訓練は、オンライン継続学習設定において堅牢な知識保持と転移を可能にするか。
• RQ3 DualNetの性能は、異なるSSL目的関数と最適化戦略でどう変化するか。
• RQ4 ラベルデータが限られる半教師あり継続学習下でDualNetは有効か。
• RQ5 監督付き更新間でSSL反復の量を変えると、忘却と転移にどう影響するか。

主な発見

• DualNetはCORE50とSplit miniImageNetのベンチマークで、タスク認識あり・なしの設定の両方でベースライン（ER、DER++, CTNを含む）を上回る。
• SSLで訓練された遅い学習者は、タスクへ依存しない頑健な表現を提供し、タスク間の一般化をサポートする。
• 高速学習者におけるサンプルごとの適応は、タスク識別子を必要とせず新しい知識を迅速に獲得する。
• 遅い学習者にLook-ahead最適化を適用し、BarLow Twins SSLを用いると収束と性能が強化され、選択したSSL目的の有効性をアブレーションで確認。
• SSL反復を増やすほど、忘却と転移の改善が見られ、教師あり更新間でより多くのSSL更新が行われるほど効果が高まる。
• 部分的なラベリングを伴う半教師あり設定では、DualNetは遅いSSLブランチを介して未ラベルデータを活用し、ベースラインを上回る性能を示す。