[論文レビュー] Improving Task-free Continual Learning by Distributionally Robust Memory Evolution

Zhenyi Wang, Li Shen+4 more|arXiv (Cornell University)|Jul 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、Wasserstein勾配流（WGF）を用いて動的にメモリデータ分布を進化させる、タスクフリー continual learning のための分布的ロバスト最適化（DRO）フレームワークを提案する。変化するメモリ分布における最悪ケース性能を最適化することで、過学習を低減し、ロバスト性を向上させる。この手法により、記憶の忘却が著しく減少し、PGD攻撃においてベースラインを4–12%上回り、強力な Carlini & Wagner 攻撃に対しても精度を維持する。

ABSTRACT

Task-free continual learning (CL) aims to learn a non-stationary data stream without explicit task definitions and not forget previous knowledge. The widely adopted memory replay approach could gradually become less effective for long data streams, as the model may memorize the stored examples and overfit the memory buffer. Second, existing methods overlook the high uncertainty in the memory data distribution since there is a big gap between the memory data distribution and the distribution of all the previous data examples. To address these problems, for the first time, we propose a principled memory evolution framework to dynamically evolve the memory data distribution by making the memory buffer gradually harder to be memorized with distributionally robust optimization (DRO). We then derive a family of methods to evolve the memory buffer data in the continuous probability measure space with Wasserstein gradient flow (WGF). The proposed DRO is w.r.t the worst-case evolved memory data distribution, thus guarantees the model performance and learns significantly more robust features than existing memory-replay-based methods. Extensive experiments on existing benchmarks demonstrate the effectiveness of the proposed methods for alleviating forgetting. As a by-product of the proposed framework, our method is more robust to adversarial examples than existing task-free CL methods. Code is available on GitHub \url{https://github.com/joey-wang123/DRO-Task-free}

研究の動機と目的

• モデルが固定されたメモリバッファを記憶し、過去の知識を失う、タスクフリー continual learning におけるメモリ過学習の問題に対処する。
• 既存の手法でしばしば無視される、メモリデータとすべての過去データの真の分布との間の分布ギャップを低減する。
• 変化するメモリ分布における最悪ケース性能を最適化することで、敵対的例に対するモデルのロバスト性を向上させる。
• 一般性・柔軟性・拡張可能性に優れた、原理的で動的なメモリ進化フレームワークを構築する。
• 分布的ロバスト最適化を活用して、メモリデータ分布における高い不確実性下でも性能保証を確保する。

提案手法

• 初期メモリ分布の近傍内で進化するメモリ分布の最悪ケース性能を最小化する動的DRO目的関数を定式化する。
• Wasserstein勾配流（WGF）を用いて、確率測度空間における連続的プロセスとしてメモリ進化をモデル化し、無限次元空間における勾配ベース最適化を可能にする。
• 実装のための3つの具体的なメモリ進化手法を導出する：Langevin Dynamics（WGF-LD）、Stein Variational Gradient Descent（WGF-SVGD）、およびハミルトニアンフロー（WGF-HMC）。
• 忘却の測定と分布距離を組み合わせたエネルギー関数を定義し、メモリデータが過去データの定常分布へ向かって進化するように誘導する。
• 確率測度空間における関数勾配降下法を用いて、連続的ダイナミクスにより無限次元最適化問題を解く。
• 進化したメモリを、標準的な経験再生（ER）またはメモリ増分再利用（MIR）フレームワークに統合して訓練に用いる。

実験結果

リサーチクエスチョン

• RQ1 DROによる動的メモリ分布進化は、タスクフリー continual learning における災難的忘却を顕著に低減できるか？
• RQ2 変化するメモリ分布における最悪ケース性能を最適化することで、敵対的例に対するロバスト性が向上するか？
• RQ3 メモリデータと全データ分布との間の分布ギャップは、continual learning におけるモデル一般化にどのように影響するか？
• RQ4 WGFに基づくメモリ進化は、記憶を回避するより困難かつ多様なメモリサンプルを生成できるか？
• RQ5 Langevin Dynamics（LD）、SVGD、HMC などの異なるWGFベース進化戦略の間で、性能とロバスト性に差異があるか？

主な発見

• 提案手法は、CIFAR-10、CIFAR-100、Mini-ImageNetの全データセットでPGD ℓ∞ 攻撃において、標準的経験再生（ER）を4%–12%上回る。
• 強力な Carlini & Wagner 攻撃下では、ERベースラインの精度は0%に低下するが、提案手法はそれぞれCIFAR-10で6.1%、CIFAR-100で3.0%、Mini-ImageNetで3.1%の精度を維持する。
• WGF-HMCとWGF-LDは、WGF-SVGDに比べて優れたロバスト性を示す。これは、入力空間のより良い探索とより困難なサンプルの生成によるものと推測される。
• 進化ステップ数を増やすことで性能がわずかに向上し、効率と有効性のバランスを考慮し5ステップを採用した。
• メモリバッファサイズ（例：3000–10000）にかかわらず一貫した向上効果を示し、WGF-LDおよびWGF-HMCはERおよびMIRベースラインを平均2–3%上回る。
• 計算コストは標準ERの3–4倍であるが、フレームワークは一般性に富み、将来的な効率改善に応用可能である。