[論文レビュー] Batch-level Experience Replay with Review for Continual Learning

Zheda Mai, Hyunwoo Kim+2 more|arXiv (Cornell University)|Jul 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 15

ひとこと要約

本論文は、バッチ単位での更新において経験を取得・再プレイし、テストの前に最終的なレビュー手順を実施することで、安定性と柔軟性を向上させるメモリベースの継続的学習手法Batch-level Experience Replay with Review (BER-R)を提案する。この手法は、CORe50データセットにおけるCVPR 2020 CLVisionチャレンジの3つのシナリオにおいて、すべてで最良の成績を収め、1位を獲得した。

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. The CVPR 2020 CLVision Continual Learning for Computer Vision challenge is dedicated to evaluating and advancing the current state-of-the-art continual learning methods using the CORe50 dataset with three different continual learning scenarios. This paper presents our approach, called Batch-level Experience Replay with Review, to this challenge. Our team achieved the 1'st place in all three scenarios out of 79 participated teams. The codebase of our implementation is publicly available at https://github.com/RaptorMai/CVPR20_CLVision_challenge

研究の動機と目的

• 継続的学習における深刻な忘却を軽減するため、経験再プレイの効率と知識保持の向上を図ること。
• 従来の経験再プレイの計算コストを低減するため、メモリの取得と更新をバッチ化すること。
• 評価の前に過去のタスクからの知識を強化する最終レビュー手順を導入し、モデル性能を向上させること。
• 統一的かつスケーラブルな手法を用いて、さまざまな継続的学習シナリオにおいて高い正確性と低い忘却を達成すること。
• リソース制約と正確性制約が厳しい条件下で、既存の手法を上回ること。

提案手法

• 新しいデータバッチが到着したときのみ、メモリの取得とバッファの更新を実行することで、ミニバッチごとの再プレイと比較して、取得・更新の回数を削減する。
• 過去のデータのサブセットを格納するメモリバッファを用い、訓練中に再プレイすることで、深刻な忘却を緩和する。
• 訓練終了後に最終レビュー手順を実施し、すべての過去に学習したデータでモデルを再訓練することで、知識の強化と一般化性能の向上を図る。
• 空間的および画素レベルの変換を含むデータ拡張を導入し、モデルの一般化性能を向上させる。
• タスク固有のヘッドを備えた特徴抽出器（DenseNet161）を用い、マルチタスク環境における学習の安定化のためのフリーズ戦略を採用する。
• 本手法は、新しいインスタンス（New Instances）、マルチタスク新クラス（Multi-Task New Classes）、新しいインスタンスとクラス（New Instances and Classes）の3つの継続的学習シナリオに一貫して適用可能である。

実験結果

リサーチクエスチョン

• RQ1 バッチ単位での経験再プレイは、計算コストを低減しつつ、性能を維持または向上させることができるか？
• RQ2 訓練終了後に実施する最終レビュー手順は、推論時間の増加なしにテスト精度を顕著に向上させることができるか？
• RQ3 本手法は、継続的学習における多様なデータ分布のシフトに対して、深刻な忘却をどれほど効果的に軽減できるか？
• RQ4 統一的なアプローチが、タスクやクラスのシフトパターンが異なる複数の継続的学習シナリオでトップパフォーマンスを達成できるか？
• RQ5 データ拡張およびモデルのファインチューニング戦略は、リソース制約下での継続的学習における一般化性能をどの程度向上させるか？

主な発見

• New Instances (NI) シナリオでは、BER-R_preprocが最終検証精度96.7%、平均検証精度90.1%を達成し、ベースラインの81.1%および71.1%を大きく上回った。
• Multi-Task New Classes (Multi-Task-NC) シナリオでは、事前処理を施した独立モデル（Ind_model_preproc）が最終精度99.3%、平均精度55.1%を達成し、ベースラインの12.8%および14.0%を上回った。
• New Instances and Classes (NIC) シナリオでは、BER-R_preprocが最終精度96.0%、平均精度59.4%を達成したのに対し、ベースラインは両方0.02%であった。
• 最終レビュー手順により、NIシナリオでは最終精度が1.1%向上したが、平均精度は向上しなかった。これは、レビュー手順が訓練後のみに適用されるためである。
• 事前処理およびデータ拡張が、特にNIおよびNICシナリオにおいて、性能向上に顕著な貢献をした。
• 本手法は、CVPR 2020 CLVisionチャレンジにおいて79チームの参加者の中から、3つのシナリオすべてで1位を獲得した。