[論文レビュー] Open-World Continual Learning: Unifying Novelty Detection and Continual Learning

Gyuhak Kim, Changnan Xiao+3 more|arXiv (Cornell University)|Apr 20, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、有効なクラスインクリメンタル学習（CIL）が、タスク内予測の正確さと分布外（OOD）検出の両方を必要とするという理論的証明を通じて、オープンワールド継続的学習を統一する。提案されたMOREフレームワークは、タスク固有の予測ヘッドとOOD予測ヘッドを統合的に最適化することで、メモリ使用量を抑えながら、複数のベンチマークで最先端の精度とOOD検出性能を達成する。

ABSTRACT

As AI agents are increasingly used in the real open world with unknowns or novelties, they need the ability to (1) recognize objects that (a) they have learned before and (b) detect items that they have never seen or learned, and (2) learn the new items incrementally to become more and more knowledgeable and powerful. (1) is called novelty detection or out-of-distribution (OOD) detection and (2) is called class incremental learning (CIL), which is a setting of continual learning (CL). In existing research, OOD detection and CIL are regarded as two completely different problems. This paper first provides a theoretical proof that good OOD detection for each task within the set of learned tasks (called closed-world OOD detection) is necessary for successful CIL. We show this by decomposing CIL into two sub-problems: within-task prediction (WP) and task-id prediction (TP), and proving that TP is correlated with closed-world OOD detection. The key theoretical result is that regardless of whether WP and OOD detection (or TP) are defined explicitly or implicitly by a CIL algorithm, good WP and good closed-world OOD detection are necessary and sufficient conditions for good CIL, which unifies novelty or OOD detection and continual learning (CIL, in particular). We call this traditional CIL the closed-world CIL as it does not detect future OOD data in the open world. The paper then proves that the theory can be generalized or extended to open-world CIL, which is the proposed open-world continual learning, that can perform CIL in the open world and detect future or open-world OOD data. Based on the theoretical results, new CIL methods are also designed, which outperform strong baselines in CIL accuracy and in continual OOD detection by a large margin.

研究の動機と目的

• AIエージェントが新規オブジェクトを検出し、段階的に学習するオープンワールドの課題に対処すること。
• 分布外（OOD）検出とクラスインクリメンタル学習（CIL）という2つの従来分離されていた問題を、それらの理論的依存関係を証明することで統合すること。
• 知識蒸留や大容量メモリバッファに依存せずに、OOD検出と継続的学習の両方を自然にサポートする新しいCIL手法を設計すること。
• CILの精度とOOD検出性能の両方を優れた水準に保ちつつ、メモリ消費量を最小限に抑えること。

提案手法

• 本稿ではCILを2つの部分問題に分解する：タスク内予測（WP）とタスクID予測（TP）、そしてTPがOOD検出と同等であることを示す。
• 良好なWPと良好なOOD検出が、有効なCILに必要かつ十分であることを証明し、統合の理論的基盤を確立する。
• クロスエントロピーとマージンベースのOOD損失を統合した損失関数を用いて、タスク固有の分類器と別個のOODスコアヘッドを同時に最適化するMOREフレームワークを提案する。
• 小さなバッファ（例：200～2000サンプル）を用いたメモリ効率の良いリプレイ機構を採用し、モデル蒸留を回避することで、メモリオーバーヘッドを低減する。
• 二重ヘッドアーキテクチャを採用：1つは各タスクごとの分類予測用、もう1つはOODスコア推定用で、共有特徴表現を用いたエンドツーエンド学習を可能にする。
• 推論時、タスク固有の確率とOODスコアを重み付き連結によって統合して予測を生成することで、分類と新奇性検出の両方を実現する。

実験結果

リサーチクエスチョン

• RQ1 分布外（OOD）検出は、有効なクラスインクリメンタル学習（CIL）において理論的に必要であるか？
• RQ2 1つのモデルアーキテクチャが、CILとOOD検出の両方で高い性能を同時に達成できるか？
• RQ3 CILをタスク内予測とタスクID予測に分解することと、OOD検出との関係は何か？
• RQ4 モデル蒸留を回避し、メモリバッファサイズを縮小することで、CILとOOD性能にどのような影響があるか？
• RQ5 統合フレームワークは、既存のCILおよびOOD検出手法を、精度と頑健性の両面で上回ることができるか？

主な発見

• 本稿では、良好なタスク内予測と良好なOOD検出が、有効なCILに必要かつ十分であることを理論的に証明し、2つの問題を統合した。
• 提案されたMORE手法は、C10-5Tで平均分類精度88.13、C100-10Tで71.69、C100-20Tで71.29、T-5Tで64.17、T-10Tで61.90を達成し、より小さなメモリバッファを用いる。
• ベースラインと比較してメモリバッファを半分に抑えた状態でも、iCaRL、DER++、A-GEMといった強力なベースラインをCIL精度とOOD検出両面で上回る。
• MOREはデータセット全体で23.7M～27.7Mのメモリエントリしか使用せず、Sup（45.7M）やA-GEM（31.5M）のような大容量メモリ手法よりも顕著に少ないが、優れた性能を維持する。
• モデル蒸留を回避し、過去のモデルを保存する必要がないため、CIFAR100-10TにおいてiCaRLやDER++と比較して最大1.8Mのエントリを削減し、メモリ消費量を低減する。
• アブレーションスタディでは、WPヘッドとOODヘッドの統合的最適化が一般化性能と頑健性の向上に寄与し、理論的主張を裏付ける。