[論文レビュー] On the importance of cross-task features for class-incremental learning

Albin Soutif--Cormerais, Marc Masana+2 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 6

ひとこと要約

本論文は、クラスインクリメンタル学習（class-IL）におけるクロスタスク特徴の役割を調査し、リプレイ戦略が忘却を緩和することは示しているが、class-ILにおける主なパフォーマンス格差は忘却に起因するのではなく、クロスタスク特徴の不十分な学習に起因することを示している。著者らは新しい忘却測定指標を導入し、特にデータが限られた状況下では、忘却の低減よりも知識の転送と特徴の質、特にクロスタスク特徴の学習がパフォーマンス向上により重要であることを示している。

ABSTRACT

In class-incremental learning, an agent with limited resources needs to learn a sequence of classification tasks, forming an ever growing classification problem, with the constraint of not being able to access data from previous tasks. The main difference with task-incremental learning, where a task-ID is available at inference time, is that the learner also needs to perform cross-task discrimination, i.e. distinguish between classes that have not been seen together. Approaches to tackle this problem are numerous and mostly make use of an external memory (buffer) of non-negligible size. In this paper, we ablate the learning of cross-task features and study its influence on the performance of basic replay strategies used for class-IL. We also define a new forgetting measure for class-incremental learning, and see that forgetting is not the principal cause of low performance. Our experimental results show that future algorithms for class-incremental learning should not only prevent forgetting, but also aim to improve the quality of the cross-task features, and the knowledge transfer between tasks. This is especially important when tasks contain limited amount of data.

研究の動機と目的

• テスト時にタスクIDが利用できないクラスインクリメンタル学習（class-IL）において、クロスタスク特徴の学習がパフォーマンスに顕著に寄与するかどうかを調査すること。
• 特にメモリ制約下でパフォーマンス低下の主因が崩壊的忘却であるという仮定を疑問視すること。
• class-ILに特化した新しい忘却メトリクスを提案・評価し、学習問題の累積的性質をよりよく反映するようにすること。
• リプレイベースのclass-IL手法において、クロスタスク特徴学習と知識転送、バイアス補正の相対的な重要性を評価すること。
• class-ILにおけるパフォーマンス向上の主な要因が、忘却の低減よりも特徴の質の向上とタスク間知識転送にあることを実証すること。

提案手法

• 著者らは、2つのファインチューニングベースラインを比較した：1つは明示的にクロスタスク特徴を学習する（FT^BAL_{+CTF}）、もう1つは学習しない（FT^BAL_{-CTF}）もので、バランスの取れたメモリサンプリングを用いたリプレイバッファを採用した。
• 1つのタスクごとの忘却ではなく、すべての過去のタスクにわたる累積的忘却を評価する新しい累積的忘却測定法を導入した。
• モデルのパフォーマンスを評価するために、タスク認識精度（A_taw）とタスク推論精度（A_tinf）を用いた：A_tawはタスクIDが与えられた際の分類精度を測るのに対し、A_tinfはタスクIDなしで正しいタスクに予測を割り当てる能力を測る。
• CIFAR-100を用い、10のタスクに分け、1クラスあたり20～500のエクジンプラをメモリサイズとして変化させ、メモリサイズが特徴学習とパフォーマンスに与える影響を評価した。
• 記憶サイズの増加が忘却とパフォーマンスに与える影響を、タスクの新鮮さバイアスなどの要因とは分離して評価し、クロスタスク特徴学習の役割を特定した。
• 知識転送の分析は、明示的なクロスタスク特徴学習がある・ないモデル間でのパフォーマンス向上を、前向きおよび後向き転送の観点から比較した。

実験結果

リサーチクエスチョン

• RQ1 明示的なクロスタスク特徴学習が欠落していることが、クラスインクリメンタル学習におけるパフォーマンス低下にどの程度寄与しているか。
• RQ2 崩壊的忘却がclass-ILにおけるパフォーマンス低下の主因であるのか、それとも他の要因がより顕著に寄与しているのか。
• RQ3 記憶サイズの増加が、class-ILにおけるクロスタスク特徴の学習と全体的なパフォーマンスにどのように影響するか。
• RQ4 改善されたタスク間知識転送が、忘却の低減やより良いクロスタスク特徴学習よりも、パフォーマンス向上を説明できるか。
• RQ5 タスク認識精度（A_taw）とタスク推論精度（A_tinf）の両メトリクスは、class-ILの真の課題を診断する上でどのように比較されるか。

主な発見

• 提案された累積的忘却メトリクスにより、測定された設定下では、class-ILとジョイントトレーニングのパフォーマンス格差は、主に崩壊的忘却に起因するものではないことが示された。
• ゼロの忘却であっても、記憶サイズの増加に伴いパフォーマンスが向上を続けるため、忘却はclass-ILにおける主なボトルネックではないことが示された。
• クロスタスク特徴の学習は、1クラスあたり50エクジンプラを過ぎると安定化し、以降の記憶増加による利益は主に知識転送の向上によるものであり、クロスタスク特徴学習の改善によるものではない。
• タスク推論精度（A_tinf）は記憶サイズに応じて上昇し、FT^BAL_{+CTF}とFT^BAL_{-CTF}の間の差が50エクジンプラで安定化する。これは、その時点でクロスタスク特徴学習が主に完了していることを示唆している。
• 両ベースラインともタスク認識精度（A_taw）は記憶サイズの増加に伴い上昇しており、これは知識転送（特に前向きおよび後向き転送）がパフォーマンス向上に重要な役割を果たしていることを示している。
• 結果から、今後のclass-ILアルゴリズムは、単に忘却の低減に注力するのではなく、特徴の質の向上とタスク間知識転送の強化に重点を置くべきであると示唆される。