[論文レビュー] Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data

Zhipeng Cai, Ozan Şener+1 more|arXiv (Cornell University)|Aug 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本論文は、YFCC100Mの地理タグ付き画像を用いて、オンライン継続的視覚学習のための新しいベンチマークを導入し、分布シフトが自然に発生する条件下で勾配ベース最適化がオフライン設定とは根本的に異なる挙動を示すことを明らかにした。バッチサイズの増加が学習効果および記憶保持性に悪影響を及えることが判明し、性能を著しく向上させるための適応的学習率およびリプレイバッファーサイズ戦略を提案した。

ABSTRACT

Continual learning is the problem of learning and retaining knowledge through time over multiple tasks and environments. Research has primarily focused on the incremental classification setting, where new tasks/classes are added at discrete time intervals. Such an "offline" setting does not evaluate the ability of agents to learn effectively and efficiently, since an agent can perform multiple learning epochs without any time limitation when a task is added. We argue that "online" continual learning, where data is a single continuous stream without task boundaries, enables evaluating both information retention and online learning efficacy. In online continual learning, each incoming small batch of data is first used for testing and then added to the training set, making the problem truly online. Trained models are later evaluated on historical data to assess information retention. We introduce a new benchmark for online continual visual learning that exhibits large scale and natural distribution shifts. Through a large-scale analysis, we identify critical and previously unobserved phenomena of gradient-based optimization in continual learning, and propose effective strategies for improving gradient-based online continual learning with real data. The source code and dataset are available in: https://github.com/IntelLabs/continuallearning.

研究の動機と目的

• オフラインからオンライン継続的学習設定への移行により、継続的学習における学習効果の評価ギャップを埋める。
• 地理タグ付き画像を用いて、自然に変化する大規模な視覚ベンチマークを構築し、リアルワールドの分布シフトを模擬する。
• 非定常なデータ分布下におけるオンライン継続的学習における勾配ベース最適化の挙動を実証的に分析する。
• オンライン継続的学習下で以前に観察されていなかった重要な現象（例：バッチサイズの負の影響）を同定する。
• オンライン継続的学習における性能向上を目的とした、学習率およびリプレイバッファーサイズの適応的戦略を提案する。

提案手法

• YFCC100Mの3900万枚の地理タグ付き画像を用いて、9年間にわたる自然な分布シフトを模擬する新しいベンチマークを構築する。
• オンライン継続的ジオロケーションをタスクとして採用し、モデルがリアルタイムで小規模バッチでデータを処理し、即時テストと段階的学習を実施する。
• 各タイムステップで計算およびメモリ予算を固定し、タスク境界や複数エポックの学習を許さない真のオンライン学習を実装する。
• FIFOバッファ戦略を用いた経験リプレイを採用し、リザボアールリプレイと比較してバッファ更新ポリシーを評価する。
• 最適化の安定性および性能向上を目的とした、適応的学習率およびリプレイバッファーサイズの適応アルゴリズムを適用する。
• 教師あり学習およびリプレイ有無の両方の状況下で、バッチサイズの影響をアブレーションスタディとして評価する。

実験結果

リサーチクエスチョン

• RQ1 オフライン設定と比較して、自然で非定常なデータ分布下におけるオンライン継続的学習における勾配ベース最適化の挙動はどのように異なるか？
• RQ2 リアルワールドのデータを用いたオンライン継続的学習において、バッチサイズの増加が学習効果および情報保持性に与える影響は何か？
• RQ3 FIFOとリザボアールの両方のリプレイバッファーサイズ更新戦略が、オンライン継続的学習のパフォーマンスに与える影響は何か？
• RQ4 適応的学習率およびリプレイバッファーサイズ戦略は、分布シフト下でのオンライン継続的学習性能を向上させることができるか？
• RQ5 オンライン継続的学習におけるバッチサイズの負の影響は、データ特性に起因するものか、それともオンライン学習設定そのものに起因するものか？

主な発見

• オンライン継続的学習においてバッチサイズを増加させると、経験リプレイを使用しても、学習効果および情報保持性の両方に顕著な悪影響が生じる。
• 経験リプレイが存在しない状況でも、バッチサイズの負の影響が持続することから、これはリプレイ機構の副作用ではなく、オンライン継続的学習設定そのものに内在するものであることが示された。
• シャッフル済みデータを用いた教師あり学習では、同様の負のバッチサイズ効果が観察されないため、この問題はオンライン継続的学習のダイナミクスに特有のものであると示唆される。
• FIFOおよびリザボアールリプレイバッファーストラテジーは、同等の性能を示し、どちらにも顕著な優位性は認められず、単純性を考慮してFIFOを採用した。
• オンライン継続的学習では、学習効果と情報保持性が相反する目的であり、最適化のトレードオフを慎重に調整する必要がある。
• 適応的学習率およびリプレイバッファーサイズ戦略は、分布シフト下での最適化課題を緩和する上で顕著に効果的であることが示された。