[论文解读] CORe50: a New Dataset and Benchmark for Continuous Object Recognition

Vincenzo Lomonaco, Davide Maltoni|arXiv (Cornell University)|May 9, 2017

Domain Adaptation and Few-Shot Learning被引用 35

一句话总结

本文提出了 CORe50，一个用于连续物体识别的新基准数据集，包含 50 个物体类别，涵盖 136 个会话，具有多种视角，旨在评估真实世界场景下的终身学习。该研究提出了三种连续学习场景——新实例（New Instances）、新类别（New Classes）以及新实例与新类别并存（New Instances and Classes），并建立了基线方法如 CWR（整合权重替换），其性能优于简单的增量学习，但仍与累积训练相比存在显著的准确率差距，凸显灾难性遗忘的挑战。

ABSTRACT

Continuous/Lifelong learning of high-dimensional data streams is a challenging research problem. In fact, fully retraining models each time new data become available is infeasible, due to computational and storage issues, while naïve incremental strategies have been shown to suffer from catastrophic forgetting. In the context of real-world object recognition applications (e.g., robotic vision), where continuous learning is crucial, very few datasets and benchmarks are available to evaluate and compare emerging techniques. In this work we propose a new dataset and benchmark CORe50, specifically designed for continuous object recognition, and introduce baseline approaches for different continuous learning scenarios.

研究动机与目标

• 为解决真实世界动态环境中连续物体识别缺乏标准化基准的问题。
• 设计一个支持多种连续学习场景的数据集：新实例、新类别以及新实例与新类别并存。
• 提供基线方法，用于在真实、增量的数据流上评估新的持续学习算法。
• 量化朴素增量训练与累积训练之间的性能差距，强调灾难性遗忘的挑战。
• 建立一个公开、可复现的基准，以加速视觉系统终身学习的研究。

提出的方法

• CORe50 由 136 个视频会话构建而成，每个会话包含 50 个物体类别，且在不同光照、姿态和背景条件下具有多种视角。
• 数据集被划分为 79 个训练批次，类别和序列的分配设计用于模拟真实世界的增量学习。
• 在新实例（NI）场景中，后期批次引入已知类别的新视角，要求模型在不遗忘的前提下实现知识巩固。
• 在新类别（NC）场景中，每个批次引入完全新的类别，测试模型在不遗忘先前类别的情况下学习新类别的能力。
• 在新实例与类别（NIC）场景中，同时引入新类别和现有类别的新视角，模拟复杂的现实世界学习情境。
• 提出一种基线方法 CWR（整合权重替换）：它为已知类别维护一个稳定的权重副本（cw），并在看到新实例时通过加权平均更新；同时使用一个临时网络（tw）进行新知识的学习。

实验结果

研究问题

• RQ1 在真实世界环境中，当深度神经网络逐步学习新物体实例或新类别时，灾难性遗忘在多大程度上影响其性能？
• RQ2 像 CWR 这样的简单持续学习策略在连续物体识别中能在多大程度上缓解遗忘？
• RQ3 在不同连续学习场景下，CORe50 上的朴素增量训练与累积训练的性能表现如何比较？
• RQ4 在该基准上，最先进的持续学习方法与累积学习之间的性能差距有多大？
• RQ5 所提出的基准能否有效区分鲁棒与脆弱的持续学习方法？

主要发现

• CWR 基线方法在所有场景中显著优于朴素增量训练（例如，冻结旧权重或重新初始化），有效减少了遗忘。
• 在 NIC 场景中，CWR 方法的准确率仅达到累积训练基线的一半左右，表明存在巨大的性能差距。
• 累积训练方法在所有场景中均达到最高准确率，证实当前的持续学习方法仍无法实现完整的知识保留。
• 像冻结权重（FW）或不重新初始化（CW）这样的朴素方法表现不如 CWR，凸显了有效知识巩固机制的重要性。
• CORe50 基准揭示，即使是中等规模的 CNN（如 Mid-Caffe、Mid-VGG），在复杂的真实世界连续学习环境中也难以避免灾难性遗忘。
• 结果表明，需要采用更先进的技术，如弹性权重整合（EWC）和无遗忘学习（LwF），才能缩小与累积学习的差距。