[論文レビュー] Carousel Memory: Rethinking the Design of Episodic Memory for Continual Learning

Soobee Lee, Minindu Weerakoon+4 more|arXiv (Cornell University)|Oct 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 15

ひとこと要約

本稿では、継続的学習（CL）における災難的忘却を軽減するために、高速なデバイス内RAMと遅延の大きい大容量ストレージの間でデータを動的に入れ替える階層的エピソード記憶システム「Carousel Memory（CarM）」を提案する。知的なデータ移行管理により、限られたRAMと低帯域幅のストレージ環境下でも、訓練効率を損なわず、7つのCL手法において最大28.4%の精度向上を達成する。

ABSTRACT

Continual Learning (CL) is an emerging machine learning paradigm that aims to learn from a continuous stream of tasks without forgetting knowledge learned from the previous tasks. To avoid performance decrease caused by forgetting, prior studies exploit episodic memory (EM), which stores a subset of the past observed samples while learning from new non-i.i.d. data. Despite the promising results, since CL is often assumed to execute on mobile or IoT devices, the EM size is bounded by the small hardware memory capacity and makes it infeasible to meet the accuracy requirements for real-world applications. Specifically, all prior CL methods discard samples overflowed from the EM and can never retrieve them back for subsequent training steps, incurring loss of information that would exacerbate catastrophic forgetting. We explore a novel hierarchical EM management strategy to address the forgetting issue. In particular, in mobile and IoT devices, real-time data can be stored not just in high-speed RAMs but in internal storage devices as well, which offer significantly larger capacity than the RAMs. Based on this insight, we propose to exploit the abundant storage to preserve past experiences and alleviate the forgetting by allowing CL to efficiently migrate samples between memory and storage without being interfered by the slow access speed of the storage. We call it Carousel Memory (CarM). As CarM is complementary to existing CL methods, we conduct extensive evaluations of our method with seven popular CL methods and show that CarM significantly improves the accuracy of the methods across different settings by large margins in final average accuracy (up to 28.4%) while retaining the same training efficiency.

研究の動機と目的

• 限られたデバイス内メモリ容量を持つモバイル機器やIoTデバイスにおける継続的学習（CL）における災難的忘却を解消すること。
• 過剰なサンプルが破棄されるため恒久的な情報損失を引き起こす従来のエピソード記憶（EM）の制限を克服すること。
• 豊富なデバイス内ストレージを活用して過去の経験を保持し、訓練速度を低下させることなくモデルの精度を向上させること。
• I/O遅延を非同期的なデータ交換によって隠すことで、遅延の大きいストレージでも高い訓練効率を維持するシステムを設計すること。
• 現実のハードウェア制約下で、階層的メモリ管理が既存のCL手法の有効性を顕著に向上させることを実証すること。

提案手法

• アクティブな学習に高速なRAMを使用し、過去データの長期保存に大容量の内部ストレージを活用する階層的メモリアーキテクチャを導入すること。
• データ転送をモデル学習計算と重ねることでI/O遅延を隠す、オンラインで非同期的なデータ交換メカニズムを実装すること。
• システム効率とモデル精度の両方を最適化するため、どのサンプルをRAMとストレージの間で交換するかを決定する、学習済みモデルに基づくゲーティングポリシーを設計すること。
• 忘却の低減に寄与する可能性の高いサンプルを優先する動的交換ポリシーを採用し、I/Oオーバーヘッドと精度向上のバランスを取ること。
• 既存のCL手法と統合可能なプラグインモジュールとしてCarMを設計し、単一パスおよびマルチパス学習戦略の両方で動作可能にすること。
• EM容量を超えるサンプルをストレージに保持する階層的メモリ管理戦略を採用し、恒久的なデータ損失を回避すること。

実験結果

リサーチクエスチョン

• RQ1 デバイス内ストレージを活用して、エピソード記憶の容量を超えたサンプルを保持することで、継続的学習における災難的忘却を顕著に軽減できるか？
• RQ2 ストレージのアクセス速度が遅いため、RAMとストレージ間のデータ交換をどのように設計すれば、訓練効率を維持できるか？
• RQ3 提案された階層的メモリ管理は、従来のメモリのみのエピソード記憶手法と比較して、どの程度モデル精度を向上させるか？
• RQ4 EMサイズ、ストレージ容量、データ交換レートの変化に伴い、CarMの性能はどのようにスケーリングするか？
• RQ5 ストレージ容量が限られている状況下でも、CarMは大規模なタスク数にわたる長期的な継続的学習を効果的にサポートできるか？

主な発見

• CIFAR-100で7種類の異なるアルゴリズムに対して、ベースラインCL手法と比較してCarMは最終平均精度を最大28.4%向上させる。
• EMサイズ300でCarM-50をDER++と組み合わせた場合、EMサイズ1000の純粋なDER++よりも高い精度を達成しており、データ交換により小さなEMでもより大きなEMを上回ることを示している。
• 交換レートが低く20%でさえも、CarMは高い精度を維持しており、I/O帯域幅が限られたシステムでも有効であることを示している。
• ストレージ容量がEMサイズの1.5倍程度でも、CarMは従来手法を上回る性能を示しており、ストレージ制約に対して高いロバスト性を示している。
• CIFAR-100を50タスクに分割した設定でも、CarMはベースラインを著しく上回り、長期的な継続的学習におけるスケーラビリティを確認している。
• 非同期的交換メカニズムにより、I/O遅延が効果的に隠され、頻繁なメモリとストレージ間のデータ転送にもかかわらず、訓練効率が維持されている。