[論文レビュー] Marginal Replay vs Conditional Replay for Continual Learning

Timothée Lesort, Alexander Gepperth+2 more|arXiv (Cornell University)|Oct 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

本論文は、クラスラベルに条件付けられて画像とラベルを同時に生成する生成的リプレイ手法「条件付きリプレイ」を導入する。この手法により、誤りやすいラベル推定を回避し、災難的忘却を軽減する。特に、生成サンプル数が少ない制約下でも、バランスの取れたクラス分布を維持し、定数時間計算量を達成するため、メモリや計算リソースが限られたリアルタイム応用に適している。条件付きリプレイは、特にサンプル生成制約が厳しい状況で、周辺リプレイを上回る性能を示す。

ABSTRACT

We present a new replay-based method of continual classification learning that we term "conditional replay" which generates samples and labels together by sampling from a distribution conditioned on the class. We compare conditional replay to another replay-based continual learning paradigm (which we term "marginal replay") that generates samples independently of their class and assigns labels in a separate step. The main improvement in conditional replay is that labels for generated samples need not be inferred, which reduces the margin for error in complex continual classification learning tasks. We demonstrate the effectiveness of this approach using novel and standard benchmarks constructed from MNIST and FashionMNIST data, and compare to the regularization-based \ extit{elastic weight consolidation} (EWC) method.

研究の動機と目的

• より強固なリプレイメカニズムを構築することで、継続的学習における災難的忘却を解消すること。
• 生成されたサンプルに対して別個にラベル予測を必要とする周辺リプレイの限界を克服し、誤りの原因となる可能性を排除すること。
• クラスに条件付けられたサンプルとラベルを同時に生成する、より優れた代替手法「条件付きリプレイ」を提案・評価すること。
• MNISTおよびFashionMNISTを用いた、分割、並べ替え、回転タスクを含む新しいベンチマークを設計し、リプレイ戦略の厳密な評価を実施すること。
• 条件付きリプレイが、管理可能なメモリおよび計算コストで定数時間計算量を達成できることを示し、実世界への展開に適していること。

提案手法

• 条件付きリプレイを提案：クラス条件付き分布 P(x|y) からサンプリングし、画像とラベルを同時に生成する生成モデル。
• 生成モデルの性能を継続的学習設定で比較するため、GANおよびVAEを用いて条件付きリプレイを実装する。
• 周辺リプレイ（生成されたサンプルはクラスに依存せず、分類器を用いて後からラベルを予測）と比較する。
• 各タスクに対して固定数の生成サンプルを用い、条件付きリプレイではクラスバランスを正確に制御可能である。
• 標準的および新しいベンチマーク（分割、並べ替え、回転タスク）を用いて、汎化性能と忘却の度合いを評価する。
• DNNを順次タスクで訓練し、災難的忘却を緩和するために、条件付きまたは周辺リプレイによる経験リプレイを適用する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習において、周辺リプレイと比較して、条件付きリプレイはラベル推定の誤りをどれほど低減するか？
• RQ2 生成サンプル数が限られた状況で、条件付きリプレイは周辺リプレイに比べてどの程度の性能を示すか？
• RQ3 条件付きリプレイは、継続的学習において、定数時間計算量を維持しながら高い精度を保てるか？
• RQ4 分割クラス継続的学習タスクのような困難なベンチマークにおいて、条件付きリプレイはどの程度の有効性を示すか？
• RQ5 生成データにおけるクラス不均衡が周辺リプレイの性能に与える影響は何か？また、条件付きリプレイはそれをどのように緩和するか？

主な発見

• 生成サンプル数が少ない場合、特にサンプル予算が低い（例：タスクあたり 0.1tN 対 tN）状況で、条件付きリプレイは周辺リプレイを上回る。これは、クラス分布の制御が優れているためである。
• 生成サンプル数が少ない場合、周辺リプレイは深刻なクラス不均衡のため、分類精度が著しく低下する。
• 条件付きリプレイは、生成データにおけるバランスの取れたクラス分布を維持し、モデルの汎化性能の向上と忘却の低減に直接寄与する。
• 生成サンプル数が増加するにつれて、条件付きリプレイと周辺リプレイの性能差は縮小し、最終的には周辺リプレイが追いつく。
• 条件付きリプレイは、生成サンプル数を時間とともに増やす必要がないため、定数時間計算量の継続的学習を可能にする。
• 分割クラス継続的学習ベンチマークは識別モデルにとって特に挑戦的であるが、条件付きリプレイはこれを効果的に処理でき、その頑健性を示している。