[論文レビュー] Online Class-Incremental Continual Learning with Adversarial Shapley Value

Dongsub Shim, Zheda Mai+4 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 14

ひとこと要約

本稿では、オンラインクラスインクリメンタル継続的学習における新たなメモリリプレイ手法であるASER（Adversarial Shapley value Experience Replay）を提案する。この手法は、安定性（古いクラス境界の維持）と可塑性（新しいクラス境界への干渉）のバランスを取るために、敵対的シャープレイ値を用いてメモリリプレイのサンプルをスコア化する。ASER μは、ロバストな変種であり、小規模なメモリバッファでも、Mini-ImageNetでベースラインを最大40.2%上回る精度向上を達成する。

ABSTRACT

As image-based deep learning becomes pervasive on every device, from cell phones to smart watches, there is a growing need to develop methods that continually learn from data while minimizing memory footprint and power consumption. While memory replay techniques have shown exceptional promise for this task of continual learning, the best method for selecting which buffered images to replay is still an open question. In this paper, we specifically focus on the online class-incremental setting where a model needs to learn new classes continually from an online data stream. To this end, we contribute a novel Adversarial Shapley value scoring method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that our proposed ASER method provides competitive or improved performance compared to state-of-the-art replay-based continual learning methods on a variety of datasets.

研究の動機と目的

• ストリーミングデータソースからタスクIDなしに新しいクラスを学ぶオンラインクラスインクリメンタル継続的学習における、深刻な忘却問題に対処すること。
• 古い意思決定境界を保存しつつ、新しい境界への干渉を促進するように、戦略的にサンプルを選択することで、メモリリプレイ選択を改善すること。
• ランダム、MIR、および他の最先端のリプレイベースラインを上回る、安定的かつ効果的なリプレイスコアリングメカニズムを開発すること。
• 小規模なメモリバッファやMini-ImageNetやCIFAR-100のような複雑なデータセットといった現実的な制約下での性能を評価すること。
• シャープレイ値に基づく効用関数が、継続的学習における安定性と可塑性のバランスを効果的に実現できることを示すこと。

提案手法

• 古いクラスと現在のタスクの両方の意思決定境界に与える影響に基づき、メモリサンプルの有効性を評価するためのスコア関数として、敵対的シャープレイ値（ASV）を提案する。
• ASVは、各メモリサンプルが過去に学習したクラスの性能と現在のタスクの性能に与える限界寄与を計算し、古い知識の安定化と新しい干渉の促進を促進する。
• ASVスコアを複数の評価セットにわたって中央値による集約を用いることで、外れ値への感受性を低減するロバストな変種であるASER μを導入する。
• ベースモデルとして縮小版のResNet18を採用し、訓練にはSGDと交差エントロピー損失を用い、メモリサンプルはバッチサイズ10でミニバッチ形式で取得する。
• 単一ヘッド評価設定を採用し、タスクIDなしにすべてのクラスを分類できるようにモデルを設計することで、より現実的なオンライン学習設定を反映する。
• ASVスコアに従って動的に入れ替えと取得戦略を制御するメモリバッファを用いて、過去データのサブセットを保存する。

実験結果

リサーチクエスチョン

• RQ1 シャープレイ値に基づくスコアリング手法は、オンラインクラスインクリメンタル継続的学習におけるメモリリプレイ選択を改善できるか？
• RQ2 ASERは、ランダムリプレイ、MIR、ERといった既存のリプレイベースラインと比較して、小規模なメモリバッファ下での精度と忘却の度合いにおいてどのように差をつけるか？
• RQ3 スコアリング関数に敵対的干渉を組み込むことで、安定性を損なわず可塑性が向上するか？
• RQ4 ロバストな変種であるASER μは、複雑なデータセットにおけるASVの外れ値への感受性を緩和できるか？
• RQ5 ASERを用いたメモリリプレイは、Mini-ImageNet や CIFAR-100 といった困難なデータセットにおいて、どの程度性能を向上させるか？

主な発見

• ASER μは、メモリサイズ1,000のMini-ImageNetで、最も強力なベースライン（MIR）を40.2%上回る相対的精度向上を達成した。
• メモリサイズ2,000と5,000のMini-ImageNetにおいて、それぞれMIRを25.4%および10.3%上回る性能を発揮した。
• ASER μは、すべてのデータセットとメモリサイズにおいて、すべてのベースラインを一貫して上回り、特に複雑でデータが限られた環境下で顕著な優位性を示した。
• ASER μを用いたメモリリプレイは、EWC や AGEM といった正則化ベースの手法を著しく上回り、それらはファインチューニングベースラインでさえも下回った。
• 単純なリプレイ（ER）でさえ、特に複雑なデータセットでは競争力を持つ結果を示した。これは、効果的なメモリ利用が継続的学習において極めて重要であることを示している。
• メモリサイズが5,000（トレーニングデータの10%）を超えると、ほとんどのリプレイベース手法が iid-online ベースラインを上回った。これは、忘却を防ぐためにメモリの価値が確かに存在することを裏付けた。