[論文レビュー] Memory Efficient Experience Replay for Streaming Learning

Tyler L. Hayes, Nathan D. Cahill+1 more|arXiv (Cornell University)|Sep 16, 2018

Data Stream Mining Techniques参考文献 70被引用数 9

ひとこと要約

本論文は、深層ニューラルネットワーク（DNN）を用いたストリーミング学習におけるメモリ効率の良いリハーより手法であるExStreamを提案する。ストリーミングクラスタリングを用いた適応的プロトタイプ選択により、記憶容量を削減しながらも、深刻な忘却（catastrophic forgetting）を防ぐ。ExStreamはCluStream や HPStream といったベースライン手法を上回り、ハイパーパramータチューニングなしで、半分のメモリ使用量で高い精度を達成する。特に非i.i.d.データストリームにおける小さなバッファ制約下で顕著な効果を示す。

ABSTRACT

In supervised machine learning, an agent is typically trained once and then deployed. While this works well for static settings, robots often operate in changing environments and must quickly learn new things from data streams. In this paradigm, known as streaming learning, a learner is trained online, in a single pass, from a data stream that cannot be assumed to be independent and identically distributed (iid). Streaming learning will cause conventional deep neural networks (DNNs) to fail for two reasons: 1) they need multiple passes through the entire dataset; and 2) non-iid data will cause catastrophic forgetting. An old fix to both of these issues is rehearsal. To learn a new example, rehearsal mixes it with previous examples, and then this mixture is used to update the DNN. Full rehearsal is slow and memory intensive because it stores all previously observed examples, and its effectiveness for preventing catastrophic forgetting has not been studied in modern DNNs. Here, we describe the ExStream algorithm for memory efficient rehearsal and compare it to alternatives. We find that full rehearsal can eliminate catastrophic forgetting in a variety of streaming learning settings, with ExStream performing well using far less memory and computation.

研究の動機と目的

• 非i.i.d.データストリーム上で完全な再トレーニングなしにオンラインで学習されるDNNにおける深刻な忘却を解消すること。
• 限られたバッファ容量のもとで高いパフォーマンスを維持できる、メモリ効率の良いリハーサル戦略を開発すること。
• ストリーミングクラスタリングやオンラインk-meansを含む、複数のプロトタイプ選択手法の性能を評価・比較すること。
• ストリーミング分類のための適応的プロトタイプ保存と効率的なDNNファインチューニングを組み合わせた、新規フレームワークExStreamを導入すること。
• 完全なリハーサルが深刻な忘却を完全に排除できることを示し、リソース使用量を削減したメモリ効率の良いバージョンが、その性能を同等または上回ることを実証すること。

提案手法

• ExStreamは、過去のすべての例を保存するのではなく、代表的なプロトタイプのコンactセットを維持するためのストリーミングクラスタリングアルゴリズムを用いる。
• オンラインk-meansクラスタリングを適用し、類似したデータポイントを動的にグループ化し、リハーサルメモリとしてクラスタの重心（センタロイド）のみを保存する。
• 代表性と多様性に基づいてプロトタイプを選択することで、知識を保持しながらメモリフットプリントを削減する。
• トレーニング中は、新しいデータとバッファ内の選択されたプロトタイプの混合バッチを用いてDNNをファインチューニングする。
• バッファは、近接性やクラスタ密度に応じて、古いプロトタイプを置き換えるか、新しい点を既存のクラスタに統合するかのいずれかで更新される。
• ExStreamは、データストリームの特性に応じてスケーリング可能な固定で適応的なクラスタリング戦略を用いるため、ハイパーパramータチューニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ分布下で、完全なリハーサルがストリーミングDNN学習における深刻な忘却を完全に排除できるか？
• RQ2 異なるバッファサイズにおいて、メモリ効率の良いリハーサル戦略の精度とメモリ使用量を比較すると、どのように異なるか？
• RQ3 ExStreamは、i.i.d.および非i.i.d.データストリーム設定の両方で、既存のストリーミングクラスタリングおよびリハーサル手法を上回る性能を示すか？
• RQ4 バッファサイズが制限された状況で、プロトタイプ選択戦略の影響はモデル性能にどのように現れるか？
• RQ5 複数のクラスにまたがる共通のメモリバッファを採用することで、大規模でクラス不均衡なデータセットにおけるスケーラビリティとパフォーマンスが向上するか？

主な発見

• 完全なリハーサルは、iCub1、CORe50、CUB-200を含む、すべてのテスト済みストリーミング学習ベンチマークで深刻な忘却を完全に排除できた。
• ExStreamは、特に小さなバッファサイズの場合にCluStream や HPStream を上回る精度を達成し、これらの手法よりも半分のメモリ使用量で運用された。
• ExStreamは、非i.i.d.データストリームにおいて優れたパフォーマンスを示し、特にプロトタイプ選択にストリーミングクラスタリングを用いる場合に顕著であった。
• オンラインk-meansとストリーミングクラスタリング手法は、FIFOキューのような単純な手法とは異なり、i.i.d.および非i.i.d.の両方のデータ順序で一貫したパフォーマンスを維持した。
• 最小限のハイパーパramータチューニングで良好な性能を発揮したため、組み込みデバイスへの実装において実用的であった。
• CUB-200データセットでは、ストリーミングクラスタリング手法が小さなバッファサイズでも顕著にパフォーマンスを向上させ、リソース制限のある環境における価値を示した。