[論文レビュー] Rainbow Memory: Continual Learning with a Memory of Diverse Samples

Jihwan Bang, Heesu Kim+3 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 18

ひとこと要約

本論文は、不確実性に配慮したサンプリングとデータ拡張を用いてエピソード記憶の多様性を向上させる、Rainbow Memory (RM) と呼ばれる新しい continual learning 法を提案する。CIFAR10、CIFAR100、ImageNet において、タスクがクラスを共有する「曇りクラスインクリメンタル学習（blurry-CIL）」という現実的ではあるが未だに研究が浅い設定において、最先端の手法を著しく上回り、ベースライン比最大10.5%の向上を達成する。

ABSTRACT

Continual learning is a realistic learning scenario for AI models. Prevalent scenario of continual learning, however, assumes disjoint sets of classes as tasks and is less realistic rather artificial. Instead, we focus on 'blurry' task boundary; where tasks shares classes and is more realistic and practical. To address such task, we argue the importance of diversity of samples in an episodic memory. To enhance the sample diversity in the memory, we propose a novel memory management strategy based on per-sample classification uncertainty and data augmentation, named Rainbow Memory (RM). With extensive empirical validations on MNIST, CIFAR10, CIFAR100, and ImageNet datasets, we show that the proposed method significantly improves the accuracy in blurry continual learning setups, outperforming state of the arts by large margins despite its simplicity. Code and data splits will be available in https://github.com/clovaai/rainbow-memory.

研究の動機と目的

• クラスを共有するタスクが存在する現実的ではあるが未だに研究が浅い設定、すなわち「曇りクラスインクリメンタル学習（blurry-CIL）」に焦点を当て、それとは対照的に人工的であるとされる分離クラスインクリメンタル学習（disjoint-CIL）の設定とは対照的に、この問題に取り組む。
• 記憶容量が限られている状況下で、 catastrophic forgetting を克服するため、保存されたエグジスティムの代表性と多様性を向上させることを目的とする。
• 個々のサンプルの分類不確実性を用いて、強固でない（壊れやすい）データと強固なデータの両方をバランスよく選択するように、情報量が多く多様なサンプルを選択する記憶管理戦略を構築する。
• 特に CutMix や AutoAug といったラベルミキシング技術を含むデータ拡張が、記憶内のエグジスティムの多様性とモデルの汎化性能をどのように向上させるかを調査する。
• 提案手法が blurry-CIL を超えて、分離クラスインクリメンタル学習（disjoint-CIL）およびオフライン学習の設定においても、良好な汎用性を示すことを実証する。

提案手法

• 各サンプルのロバストネスを評価するための摂動誘発不確実性測定法を提案：データ拡張によってサンプルを摂動させ、摂動後の予測に対してモンテカルロドロップアウトを用いて不確実性を推定する。
• 不確実性の逆数（すなわちロバストネス）をベイジアンフレームワークにおける尤度関数として用い、強固でない（壊れやすい）サンプルと強固なサンプルの両方を優遇する記憶サンプリングを誘導する。
• 古いエグジスティムを新しい不確実性順にランク付けされたサンプルに置き換える記憶更新戦略を実装し、記憶が過去のクラスを代表するように保証する。
• CutMix、AutoAug、および標準的な拡張法（例：カラージッター、反転）を含む多様なデータ拡張技術を、エピソード記憶に格納されたサンプルに適用する。
• 不確実性に基づくサンプリングとデータ拡張を組み合わせ、記憶の多様性とモデルの汎化性能を向上させる二重メカニズムを構築する。
• 固定された記憶容量制約を用い、現実の continual learning 応用におけるスケーラビリティと実用性を保証する。

実験結果

リサーチクエスチョン

• RQ1 不確実性に基づくサンプリングは、ランダム選択やプロトタイプベースの記憶選択と比較して、blurry-CIL における記憶の多様性とモデル性能をどのように向上させるか？
• RQ2 特に CutMix などのラベルミキシング手法を含むデータ拡張は、エピソード記憶内のエグジスティムの代表性と識別能をどの程度向上させるか？
• RQ3 blurry-CIL に特化した記憶管理戦略が、disjoint-CIL やオフライン学習の設定にも効果的に一般化できるか？
• RQ4 不確実性推定法の違い（例：No_MC、RandAug_MC、AutoAug_MC）が、記憶更新メカニズムの性能に与える影響は何か？
• RQ5 不確実性に基づくサンプリングとデータ拡張の両者が、 continual learning の精度向上に果たす相対的な貢献度は何か？

主な発見

• CIFAR10-Blurry10-Online において、K=1000 の条件下で RM は 76.1% の精度を達成し、次に良いベースラインより 4.6 パcentage points の優位性を示した。
• CIFAR100-Blurry10-Online では、RM が 69.6% の精度を達成し、同じ設定下で前回の最先端手法より 10.5% の向上を達成した。
• 分離クラスインクリメンタル学習（disjoint-CIL）においても強力な性能を維持し、CIFAR10-Disjoint10 で 71.1% の精度を達成し、専用に最適化された最先端手法と同等の性能を示した。
• データ拡張、特に CutMix + AutoAug を適用することで、RM の性能が最大 12.5% 向上した。特に複雑度の高い設定で最も顕著な向上が観察された。
• RandAug を用いたモンテカルロ推定に基づく不確実性サンプリングが最良の結果をもたらし、CIFAR10-Blurry10-Online において非モンテカルロ手法より 2.7% の精度向上を達成した。
• アブレーションスタディの結果、不確実性に基づくサンプリングとデータ拡張の両方が不可欠であることが確認された。両方の要素を削除すると、平均で 10% 以上の性能低下が生じた。