[論文レビュー] CORe50: a New Dataset and Benchmark for Continuous Object Recognition

Vincenzo Lomonaco, Davide Maltoni|arXiv (Cornell University)|May 9, 2017

Domain Adaptation and Few-Shot Learning被引用数 35

ひとこと要約

この論文は、50のオブジェクトクラスと136のセッションを備えた、連続的オブジェクト認識のための新しいベンチマークデータセットCORe50を紹介している。実世界の状況における生涯学習の評価を目的としており、新インスタンス、新クラス、および新インスタンスと新クラスの併存という3つの連続的学習シナリオを提案。CWR（統合重み置換）といったベースライン手法を確立し、ナーブなインクリメンタル学習よりも優れているが、蓄積学習と比較して顕著な精度の差が残っていることから、深刻な記憶の消去（catastrophic forgetting）の課題が浮き彫りになっている。

ABSTRACT

Continuous/Lifelong learning of high-dimensional data streams is a challenging research problem. In fact, fully retraining models each time new data become available is infeasible, due to computational and storage issues, while naïve incremental strategies have been shown to suffer from catastrophic forgetting. In the context of real-world object recognition applications (e.g., robotic vision), where continuous learning is crucial, very few datasets and benchmarks are available to evaluate and compare emerging techniques. In this work we propose a new dataset and benchmark CORe50, specifically designed for continuous object recognition, and introduce baseline approaches for different continuous learning scenarios.

研究の動機と目的

• 実世界の動的環境における連続的オブジェクト認識のための標準化されたベンチマークの不足に対処すること。
• 新インスタンス、新クラス、および両方の組み合わせという複数の連続的学習シナリオをサポートするデータセットを設計すること。
• 現実的でインクリメンタルなデータストリーム上で新しい連続的学習アルゴリズムを評価するためのベースライン手法を提供すること。
• ナーブなインクリメンタル学習と蓄積学習の間の性能差を定量化し、記憶の消去の課題を強調すること。
• 研究を促進するための公開・再現可能なベンチマークを確立すること。

提案手法

• CORe50は136のビデオセッションから構築されており、各セッションには照明、ポーズ、背景の変化を伴う複数の視点を持つ50のオブジェクトクラスが含まれる。
• データセットは79のトレーニングバッチに分割されており、クラスとシーケンスの割り当てが現実のインクリメンタル学習を模倣するように設計されている。
• 新インスタンス（NI）シナリオでは、後続のバッチで既知のクラスの新しい視点が導入され、忘却を伴わずに知識の統合が求められる。
• 新クラス（NC）シナリオでは、各バッチごとに完全に新しいクラスが導入され、以前のクラスを忘れないように学習する能力が試される。
• 新インスタンスとクラス（NIC）シナリオでは、新しいクラスと既存クラスの新しい視点が同時に導入され、複雑な現実世界の学習を模倣する。
• ベースライン手法としてCWR（統合重み置換）が提案される：既知のクラスの安定した重みコピー（cw）を維持し、新しいインスタンスが観測された際に重み付き平均で更新する。同時に、一時的なネットワーク（tw）を用いて新しい学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 実世界の状況下で、深層ニューラルネットワークが新しいオブジェクトインスタンスやクラスを段階的に学習する際、記憶の消去がどのように影響を及ぼすか？
• RQ2 CWRのような単純な連続的学習戦略が、連続的オブジェクト認識における忘却をどの程度軽減できるか？
• RQ3 さまざまな連続的学習シナリオにおいて、ナーブなインクリメンタルトレーニングと蓄積学習の性能はどのように比較されるか？
• RQ4 このベンチマークにおいて、最先端の連続的学習手法と蓄積学習との間の性能差はどの程度か？
• RQ5 提案されたベンチマークは、強固なと脆弱な連続的学習アプローチを効果的に区別できるか？

主な発見

• CWRベースライン手法は、すべてのシナリオにおいてナーブなインクリメンタル学習（例：古い重みを固定する、再初期化しない）よりも顕著に忘却を軽減している。
• NICシナリオでは、CWRアプローチの精度は蓄積学習ベースラインの約半分にとどまり、大きな性能差が示されている。
• 蓄積学習アプローチはすべてのシナリオで最高の精度を達成しており、現在の連続的学習手法が完全な知識保持に至っていないことを確認している。
• 重みを固定する（FW）や再初期化を行わない（CW）といったナーブなアプローチはCWRよりも劣っており、適切な統合メカニズムの重要性が示されている。
• CORe50ベンチマークは、中規模のCNN（例：Mid-Caffe、Mid-VGG）ですら、複雑な現実世界の連続的学習環境において記憶の消去に苦しんでいることを明らかにしている。
• 結果から、Elastic Weight Consolidation（EWC） や Learning without Forgetting（LwF） といった高度な技術が必要であることが示唆されている。