[論文レビュー] The CLEAR Benchmark: Continual LEArning on Real-World Imagery

Zhiqiu Lin, Jia Shi+2 more|arXiv (Cornell University)|Jan 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

CLEARベンチマークは、2004年から2014年までの実世界のWeb画像における視覚的概念の自然な時間的進化に基づき、YFCC100Mから視覚言語モデルとクラウドソーシングを用いて収集した、継続的画像分類のための新規なデータセットを導入する。これは、ストリーミング評価プロトコルと自己教師あり事前学習が継続的学習性能を顕著に向上させることを示しており、従来のiidベンチマークは人工的な分布シフトのため、モデルの一般化能力を過大評価していることが明らかになった。

ABSTRACT

Continual learning (CL) is widely regarded as crucial challenge for lifelong AI. However, existing CL benchmarks, e.g. Permuted-MNIST and Split-CIFAR, make use of artificial temporal variation and do not align with or generalize to the real-world. In this paper, we introduce CLEAR, the first continual image classification benchmark dataset with a natural temporal evolution of visual concepts in the real world that spans a decade (2004-2014). We build CLEAR from existing large-scale image collections (YFCC100M) through a novel and scalable low-cost approach to visio-linguistic dataset curation. Our pipeline makes use of pretrained vision-language models (e.g. CLIP) to interactively build labeled datasets, which are further validated with crowd-sourcing to remove errors and even inappropriate images (hidden in original YFCC100M). The major strength of CLEAR over prior CL benchmarks is the smooth temporal evolution of visual concepts with real-world imagery, including both high-quality labeled data along with abundant unlabeled samples per time period for continual semi-supervised learning. We find that a simple unsupervised pre-training step can already boost state-of-the-art CL algorithms that only utilize fully-supervised data. Our analysis also reveals that mainstream CL evaluation protocols that train and test on iid data artificially inflate performance of CL system. To address this, we propose novel "streaming" protocols for CL that always test on the (near) future. Interestingly, streaming protocols (a) can simplify dataset curation since today's testset can be repurposed for tomorrow's trainset and (b) can produce more generalizable models with more accurate estimates of performance since all labeled data from each time-period is used for both training and testing (unlike classic iid train-test splits).

研究の動機と目的

• 現実のデータ分布シフトを反映する、現実的で自然に進化する継続的学習ベンチマークの不足に応えること。
• ラベルあり・なしの両方のサンプルを含み、時間的に順序付けられ、高品質な大規模画像データセットを、スケーラブルで低コストな方法で収集する手法を開発すること。
• 従来のiid評価プロトコルの妥当性を疑問視し、その人工的な性能上昇を示すことで、継続的学習における評価プロトコルの問題を提起すること。
• より汎用性の高い継続的学習システムの構築を促進するため、ラベルなしデータとストリーミング学習プロトコルの活用を推進すること。
• 再現可能性を確保し、継続的学習アルゴリズムのコミュニティ全体による評価を促進するための公開ベンチマークプラットフォームを提供すること。

提案手法

• 視覚言語パイプラインを用いて、CLIP埋め込みを活用し、視覚的概念の進化に従って時間的に順序付けられた画像クラスタを特定・抽出することで、YFCC100MからCLEARを収集した。
• 視覚言語モデルを用いた反復的・インタラクティブなラベリングにより初期ラベルデータを生成し、その後クラウドソーシングを用いて誤りや不適切なコンテンツを検証・除外した。
• 時間的ストリームを11つのバケット（2004–2014）に分割し、各バケットに70万枚のラベル付き画像を含め、時間経過に伴う現実的で滑らかな分布シフトを形成した。
• モデルが過去の全データを学習し、次の時間帯をテストするという「ストリーミング」評価プロトコルを提案し、人工的なiid分割を回避した。
• 標準的なCLベースライン（例：LwF、GDumb）と新しい戦略（例：バイアス付きリザーバー採択、自己教師あり事前学習）を、iidおよびストリーミングプロトコルの両方で評価した。
• YFCC-B0（バケット0で自己教師あり表現を事前学習したもの）を用い、線形ヘッドを微調整して、継続的学習における性能向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的なiidプロトコルとは対照的に、現実のストリーミング条件で評価された場合、最先端の継続的学習アルゴリズムの性能はどの程度低下するか？
• RQ2 完全に教師ありデータのみを用いて学習する場合、自己教師あり事前学習が継続的学習性能をどの程度向上させられるか？
• RQ3 実世界の画像における視覚的概念の自然な時間的進化は、GDumbのような退化したベースラインを、表現ベースの手法よりも劣化させるか？
• RQ4 過去の全データを学習に使用し、直近の未来をテストに用いるストリーミング評価プロトコルは、より正確で汎用性の高い性能推定を可能にするか？
• RQ5 最近のデータに高い確率で採択するバイアス付きリザーバー採択は、現実の時間的シフト下での継続的学習におけるモデル性能にどのような影響を及ぼすか？

主な発見

• 標準的なiid評価プロトコルは性能を人工的に上昇させ、ドメイン内正答率はメイン対角線上で90％に達するが、次ドメイン正答率（次の時間帯でテスト）は82％に低下する。
• YFCC-B0の表現を用いた自己教師あり事前学習により、ドメイン内正答率は91.9％、次ドメイン正答率は91.4％に向上し、完全に教師ありのSOTA手法を上回った。
• GDumb（各タスクごとに再学習する退化したベースライン）はCLEARでは性能が著しく低く、滑らかな時間的進化が継続的表現学習を好むことを示している。
• 最近のデータに高い確率で採択するバイアス付きリザーバー採択は、非バイアス採択よりも性能を向上させ、アブレーションスタディではα = 0.8で最適な性能を示した。
• 100％の過去データを学習に使用し、次の時間帯をテストに用いるストリーミングプロトコルは、従来のiid分割よりも正確で汎用性の高い性能推定を可能にした。
• ベンチマークの自然な時間的進化により、分布外一般化が可能となり、iid仮定に基づいて学習したモデルよりも、ストリーミングプロトコルで学習したモデルが将来のデータにさらに良い一般化性能を示した。