[論文レビュー] Task-Free Continual Learning via Online Discrepancy Distance Learning

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 21

ひとこと要約

この論文は Task-Free Continual Learning (TFCL) のための Online Discrepancy Distance Learning (ODDL) を理論に裏打ちされたフレームワークに基づき導入し、discrepancy distance、動的混合拡張、 discrepancy-based memory sampling を組み合わせ、TFCL ベンチマークにおいて最先端の結果を達成します。

ABSTRACT

Learning from non-stationary data streams, also called Task-Free Continual Learning (TFCL) remains challenging due to the absence of explicit task information. Although recently some methods have been proposed for TFCL, they lack theoretical guarantees. Moreover, forgetting analysis during TFCL was not studied theoretically before. This paper develops a new theoretical analysis framework which provides generalization bounds based on the discrepancy distance between the visited samples and the entire information made available for training the model. This analysis gives new insights into the forgetting behaviour in classification tasks. Inspired by this theoretical model, we propose a new approach enabled by the dynamic component expansion mechanism for a mixture model, namely the Online Discrepancy Distance Learning (ODDL). ODDL estimates the discrepancy between the probabilistic representation of the current memory buffer and the already accumulated knowledge and uses it as the expansion signal to ensure a compact network architecture with optimal performance. We then propose a new sample selection approach that selectively stores the most relevant samples into the memory buffer through the discrepancy-based measure, further improving the performance. We perform several TFCL experiments with the proposed methodology, which demonstrate that the proposed approach achieves the state of the art performance.

研究の動機と目的

• 忘却を TFCL における discrepancy distance およびドメイン適応の概念を用いて理論的に説明する枠組みを提供する。
• 過去の構成要素を凍結することでコンパクトで正確なモデルを維持する動的拡張機構を開発する。
• 多様で関連性の高い例をメモリに取り入れるための discrepancy-based サンプル選択戦略を導入する。
• VAE ベースの discrepancy 推定器とメモリリプレイメモリバッファを統合する ODDL アルゴリズムを提案する。

提案手法

• TFCL へドメイン適応理論を拡張し、discrepancy distance に基づく時間依存の一般化リスク境界を導出する。
• 新規コンポーネントを追加し、過去のコンポーネントを凍結して忘却を低減する動的拡張モデル（DEM）を導入する。
• 新規コンポーネントの追加時期とメモリサンプルの選択方法を指示する discrepancy-based 基準を使用する。
• テスト時のコンポーネント選択を補助するために discrepancy を推定する VAE を用いる。
• 初期学習、評価者の訓練、サンプル選択段階を含むエンドツーエンドの訓練手順を概説する。

実験結果

リサーチクエスチョン

• RQ1 タスクラベルなしでの TFCL における discrepancy distance は忘却をどのように定量化するか？
• RQ2 凍結コンポーネントを含む動的拡張モデルは TFCL 下で一般化を改善できるか？
• RQ3 discrepancy-based メモリサンプリングは過去の知識の保持と全体的な性能を高めるか？
• RQ4 VAE-based discrepancy estimation はコンポーネント選択とモデル拡張をどのように支援するか？

主な発見

• この研究は discrepancy distance を介して TFCL の時間依存的一般化境界を導出する理論的枠組みを提供する。
• 動的拡張を備えた ODDL は著者らの評価によれば TFCL ベンチマークで最先端の結果を達成する。
• discrepancy-based memory expansion とサンプル選択戦略は知識の保持とモデルのコンパクト性を向上させる。
• 凍結コンポーネントと新しく学習したコンポーネントの混成はネガティブ転移を緩和し、より良い一般化を支持する。
• このアプローチは理論的保証と、明示的なタスク境界なしの TFCL の実用的アルゴリズムを組み合わせている。