[論文レビュー] Online Learned Continual Compression with Adaptive Quantization Modules

Lucas Caccia, Eugene Belilovsky+2 more|arXiv (Cornell University)|Nov 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 38

ひとこと要約

論文は Online Continual Compression (OCC) を Adaptive Quantization Modules (AQM) を用いて提案し、VQ-VAE に基づく圧縮を通じて固定メモリ内に非IIDデータストリームを圧縮・保存しつつ、将来のデコーダによって以前の表現がデコード可能であり、タスク間でオンライン学習を可能にする。

ABSTRACT

We introduce and study the problem of Online Continual Compression, where one attempts to simultaneously learn to compress and store a representative dataset from a non i.i.d data stream, while only observing each sample once. A naive application of auto-encoders in this setting encounters a major challenge: representations derived from earlier encoder states must be usable by later decoder states. We show how to use discrete auto-encoders to effectively address this challenge and introduce Adaptive Quantization Modules (AQM) to control variation in the compression ability of the module at any given stage of learning. This enables selecting an appropriate compression for incoming samples, while taking into account overall memory constraints and current progress of the learned compression. Unlike previous methods, our approach does not require any pretraining, even on challenging datasets. We show that using AQM to replace standard episodic memory in continual learning settings leads to significant gains on continual learning benchmarks. Furthermore we demonstrate this approach with larger images, LiDAR, and reinforcement learning environments.

研究の動機と目的

• Online Continual Compression (OCC) 問題とその課題（表現のドリフト、忘却、非定常データ）を定義する。
• VQ-VAE に基づく Adaptive Quantization Modules (AQM) を提案し、マルチレベル圧縮とメモリを管理する。
• 固定容量の下でメモリ品質を維持する自己リプレイとストリームサンプリングを開発する。
• オンライン継続的な画像分類、より大きな画像、 LiDAR、 RL 設定における有効性を実証する。）

提案手法

• レベルごとに別々のコードブックを用いて表現を離散化する一連の VQ-VAEs を用いる。
• 各レベルが異なるビットレートのコードブックインデックスを格納する adaptive なマルチレベルストレージ方式を導入する。
• 新しいデータと保存された表現のランダムサンプリングの両方を用いて AQ M を更新する自己リプレイを採用する。
• 分布の表現を最大化しつつ保存サンプルを削除する非均一でメモリ意識的なストリームサンプリング戦略を実装する。
• ドリフト制御のためにコードブックを凍結して表現を安定化させつつ、エンコーダ/デコーダが適応できるようにする。
• データフロー、エンコード、保存、メモリ更新のオンラインアルゴリズムを概説する（Algorithm 1）。

実験結果

リサーチクエスチョン

• RQ1 エンコーダが進化する中で表現ドリフトにもかかわらず過去の表現を online learned compression が保存・取得できるか？
• RQ2 適応的でマルチレベルの量子化はオンライン継続学習におけるメモリ効率と再構成品質を改善するか？
• RQ3 内部リプレイとストリーミングサンプリングは、固定容量内で忘却を減らしつつどの程度実現できるか？
• RQ4 AQM を用いた OCC はオンライン継続的な画像分類でどのように機能し、より大きな画像、LiDAR、 RL の観測へ拡張できるか？

主な発見

• AQ M はベクトル量子化 VAE を用いることでオンライン継続設定における表現ドリフトを効果的に緩和する。
• マルチレベルのストレージと自己リプレイにより、JPEG を用いた ER などのベースラインと比較して、特に小さなメモリ予算で高い精度と忘却の低減を達成する。
• CIFAR-10 継続学習ベンチマークでは、メモリサイズの範囲で ER および他のベースラインを大幅に上回り、AQM が実質的に改善を示す。
• ImageNet でのオフライン評価では、圧縮メモリの利得が未圧縮データのリザーバサンプリングよりも優れており、各要素（コードブックの安定化、分離訓練、適応圧縮、ドリフト制御）の重要性を示す素子別アブレーションが確認される。
• AQM はより大きなモダリティ（ImageNet、LiDAR）や RL 観測へスケールし、タスク関連情報を保存しつつ圧縮（例: 32x）を実現する。