[論文レビュー] A Multi-Head Model for Continual Learning via Out-of-Distribution Replay

Gyuhak Kim, Zixuan Ke+1 more|arXiv (Cornell University)|Aug 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、過去のタスクのパラメータを更新せずに、タスク固有の分類器を構築するために分布外（OOD）リプレイを用いる、多ヘッド継続的学習モデルMOREを提案する。事前学習されたトランスフォーマーにアダプタモジュールを組み込み、重要な重みを保護するハード注釈（アテンション）を活用することで、MOREはクラスインクリメンタル学習において最先端の精度を達成するとともに、自然にOOD検出を可能にする。

ABSTRACT

This paper studies class incremental learning (CIL) of continual learning (CL). Many approaches have been proposed to deal with catastrophic forgetting (CF) in CIL. Most methods incrementally construct a single classifier for all classes of all tasks in a single head network. To prevent CF, a popular approach is to memorize a small number of samples from previous tasks and replay them during training of the new task. However, this approach still suffers from serious CF as the parameters learned for previous tasks are updated or adjusted with only the limited number of saved samples in the memory. This paper proposes an entirely different approach that builds a separate classifier (head) for each task (called a multi-head model) using a transformer network, called MORE. Instead of using the saved samples in memory to update the network for previous tasks/classes in the existing approach, MORE leverages the saved samples to build a task specific classifier (adding a new classification head) without updating the network learned for previous tasks/classes. The model for the new task in MORE is trained to learn the classes of the task and also to detect samples that are not from the same data distribution (i.e., out-of-distribution (OOD)) of the task. This enables the classifier for the task to which the test instance belongs to produce a high score for the correct class and the classifiers of other tasks to produce low scores because the test instance is not from the data distributions of these classifiers. Experimental results show that MORE outperforms state-of-the-art baselines and is also naturally capable of performing OOD detection in the continual learning setting.

研究の動機と目的

• 過去のタスク分類器のパラメータ更新を避けることで、クラスインクリメンタル学習（CIL）における深刻な忘却を是正すること。
• 過去のモデルを微調整するためのリプレイに依存せずに、効果的な継続的学習を実現すること。
• 継続的学習の文脈で、正確な分類と頑健なOOD検出を同時に実現する手法を開発すること。
• アダプタモジュールを用いた事前学習トランスフォーマーを活用し、過去のタスクからの知識を保持したまま性能を向上させること。
• 多ヘッドモデルにOODに配慮した分類器を組み込むことで、シングルヘッドリプレイベースのベースラインを上回ることを示すこと。

提案手法

• MOREは、事前学習されたトランスフォーマーバックボーンを用いて、各新しいタスクごとに個別のタスク固有分類ヘッドを構築する。
• 各トランスフォーマーレイヤーに学習可能なアダプタモジュールを挿入することで、事前学習済み重みを変更せずにタスク固有の適応を可能にする。
• メモリバッファには、各タスクの少量のサンプルが格納され、それらが新しいタスクの分類器の学習に用いられる。
• 分類器は、分布内（IND）のサンプルに対して高い信頼度、分布外（OOD）のサンプルに対して低い信頼度を割り当てるように学習され、OOD検出が可能になる。
• トレーニング中に過去のタスクの重要なパラメータが更新されないように、ハード注釈（マスキング）を適用する。
• 推論時には、活性化スコアが最も高いヘッドが選択されるため、タスクIDを必要とせずに分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の分類器を備えた多ヘッドモデルは、シングルヘッドリプレイベースの手法よりも、深刻な忘却をより効果的に軽減できるか？
• RQ2 メモリバッファに分布外（OOD）サンプルを用いることで、分類精度とOOD検出性能の両方を向上させられるか？
• RQ3 ハード注釈による過去のタスクのパラメータ保護は、継続的学習における過去の知識の保持を向上させられるか？
• RQ4 アダプタモジュールを備えた事前学習トランスフォーマーは、クラスインクリメンタル学習において優れた性能を発揮するとともに、OOD検出を可能にするか？
• RQ5 提案手法は、平均分類精度とインクリメンタル精度の観点から、最先端のベースラインと比較してどうなるか？

主な発見

• CIFAR10-5Tでは、MOREが89.16%の平均分類精度（ACA）を達成し、最良のベースライン（iCaRLで77.51%）を上回った。
• CIFAR100-10Tでは、MOREが70.23%のACAと69.79%のAIAを達成し、iCaRL（59.83%のACA、70.00%のAIA）および他の最先端手法を上回った。
• Tiny-ImageNet-10Tでは、MOREが63.06%のACAと58.96%のAIAを達成し、HAT（52.33%のACA、64.96%のAIA）を顕著に上回った。
• MOREは優れたOOD検出能力を示しており、分類器が分布内サンプルに対して高いスコア、分布外サンプルに対して低いスコアを出力する。
• すべてのデータセットで高い性能を維持し、全実験の平均でACAが57.80%、AIAが69.32%を記録した。
• アブレーションスタディにより、メモリサンプルにおけるOOD学習が性能に不可欠であることが確認され、このコンponentを除去すると顕著な精度低下が生じた。