[論文レビュー] Online Continual Learning on Class Incremental Blurry Task Configuration with Anytime Inference

Hyunseo Koh, Dahyun Kim+2 more|arXiv (Cornell University)|Oct 19, 2021

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本稿では、クラスインクリメンタルで、タスクフリーであり、曇ったタスク境界を有する、いつでも推論が可能なオンライン継続的学習の新規設定i-Blurryを提案する。CLIBという手法を導入し、サンプルごとの重要度に基づくメモリ管理、メモリのみの訓練、および適応的学習率スケジューリングを採用することで、CIFAR-10/100において従来手法を顕著に上回り、CIFAR-10ではAUC精度70.26、CIFAR-100では46.67を達成した。

ABSTRACT

Despite rapid advances in continual learning, a large body of research is devoted to improving performance in the existing setups. While a handful of work do propose new continual learning setups, they still lack practicality in certain aspects. For better practicality, we first propose a novel continual learning setup that is online, task-free, class-incremental, of blurry task boundaries and subject to inference queries at any moment. We additionally propose a new metric to better measure the performance of the continual learning methods subject to inference queries at any moment. To address the challenging setup and evaluation protocol, we propose an effective method that employs a new memory management scheme and novel learning techniques. Our empirical validation demonstrates that the proposed method outperforms prior arts by large margins. Code and data splits are available at https://github.com/naver-ai/i-Blurry.

研究の動機と目的

• 既存の継続的学習設定には、クラスの分割が排他的であるか、固定されたタスク境界を持つという実用的制限があり、いつでも推論ができないという点を解決すること。
• クラスインクリメンタル学習と曇ったタスク境界を組み合わせ、推論時にタスクIDが与えられない状況でも動作する、新しい継続的学習設定i-Blurryを提案すること。
• いつでも推論の条件下でモデルの性能をより良く測定できるようにするため、AUC精度（A_AUC）という新しい評価指標を導入すること。
• i-Blurry設定を効果的に処理できる新しい継続的学習手法CLIBを開発すること。具体的には、新規のメモリ管理、訓練戦略、学習率スケジューリングを採用する。

提案手法

• オンラインで、タスクフリーで、クラスインクリメンタルであり、かつタスク間の重複（曇った）クラス分布を持つ、いつでも推論が可能な継続的学習設定であるi-Blurryを提案する。
• 訓練における各サンプルの貢献度を示す「サンプルごとの重要度スコア」を導入し、メモリ管理を支援する。これにより、有用性が低いサンプルを効果的に破棄できる。
• 訓練に、オンラインストリームからのデータを直接用いない「メモリのみの訓練戦略」を採用する。これにより、現在のストリームからの直接的影響を回避できる。
• 損失の変化傾向に基づき、動的に学習率を増加または減少させる適応的学習率スケジューリング機構を設計する。これにより、収束性が向上する。
• リザボア・サンプリングを用いた経験再利用（experience replay）をベースラインとして採用するが、提案された要素を組み合わせることで、性能を向上させる。
• モデルの精度が時間経過とともにどのように変化するかを捉えるために、AUC精度（A_AUC）という新しい評価指標を採用する。これは、時間経過に伴う精度の曲線の下側面積を計算する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、曇ったタスク境界とクラスインクリメンタル学習を組み合わせ、推論時にタスクIDが与えられない状況を想定することで、継続的学習の設定をより現実的にすることができるか？
• RQ2 A_avgのような従来の評価指標は、継続的学習と推論の過程でモデルの性能をどれほど的確に捉えられるか？その限界は何か？
• RQ3 サンプルごとの重要度に基づくメモリ管理方式は、オンラインでクラスインクリメンタルな状況下で、継続的学習の性能を向上させることができるか？
• RQ4 オンラインデータストリームと併用するのではなく、メモリバッファからのみ訓練する戦略は、モデルの安定性と性能を向上させるか？
• RQ5 損失の変化傾向に基づく適応的学習率スケジューリングは、いつでも推論が可能な状況下で、継続的学習の性能を向上させるのにどの程度有効か？

主な発見

• 提案されたi-Blurry設定は、クラスインクリメンタル学習と曇ったタスク境界を組み合わせることで、現実世界の継続的学習状況をよりよく反映している。
• 新規指標であるA_AUCは、継続的学習中の性能を時間経過とともに的確に捉えており、特に長期にわたる学習においてA_avgでは見えなかった性能の差を明らかにしている。
• CLIBはCIFAR-10およびCIFAR-100の両方で、従来の継続的学習手法を上回り、CIFAR-10ではA_AUC 70.26 ± 1.28、CIFAR-100では46.67 ± 0.79を達成した。
• アブレーションスタディの結果、サンプルごとの重要度に基づくメモリ管理が最大の性能向上をもたらしており、CIFAR-100でこれを無効化するとA_AUCが16.51ポイント低下した。
• メモリのみの訓練は、経験再利用と比較して、CIFAR-10でA_AUCが2.21ポイント、CIFAR-100で2.04ポイント向上した。
• 適応的学習率スケジューリングは、より困難なCIFAR-100では1.66ポイントのA_AUC向上をもたらしたが、CIFAR-10ではそれほど大きな向上は得られず、複雑な設定下での重要性が示された。