[论文解读] Continual egocentric object recognition

Luca Erculiani, Fausto Giunchiglia+1 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用 5

一句话总结

该论文提出Follower，一种基于记忆的增量式框架，用于持续的自我中心物体识别，通过利用时间与空间持久性、基于相似性的识别方法以及在线主动学习，实现在极少人工监督下的开放世界、实例级识别。即使在反馈稀疏的情况下，该方法仍能实现高精度的新型物体识别与重识别，证明了发展性学习与持久性在减少对标注数据依赖方面的有效性。

ABSTRACT

We present a framework capable of tackilng the problem of continual object recognition in a setting which resembles that under whichhumans see and learn. This setting has a set of unique characteristics:it assumes an egocentric point-of-view bound to the needs of a singleperson, which implies a relatively low diversity of data and a coldstart with no data; it requires to operate in an open world, where newobjects can be encounteredat any time; supervision is scarce and hasto be solicited to the user, and completelyunsupervised recognitionof new objects should be possible. Note that this setting differs fromthe one addressed in the open world recognition literature, where supervised feedback is always requested to be able to incorporate newobjects. We propose a first solution to this problem in the form ofa memory-based incremental framework that is capable of storinginformation of each and any object it encounters, while using the supervision of the user to learn to discriminate between known and unknown objects. Our approach is based on four main features: the useof time and space persistence (i.e., the appearance of objects changesrelatively slowly), the use of similarity as the main driving principlefor object recognition and novelty detection, the progressive introduction of new objects in a developmental fashion and the selectiveelicitation of user feedback in an online active learning fashion. Experimental results show the feasibility of open world, generic objectrecognition, the ability to recognize, memorize and re-identify newobjects even in complete absence of user supervision, and the utilityof persistence and incrementality in boosting performance.

研究动机与目标

• 解决在数据多样性低、数据流式输入且监督稀疏的自我中心场景中，持续性开放世界物体识别的挑战。
• 实现在无先验知识或用户反馈的情况下，对新型物体进行实例级识别与重识别。
• 通过使用主动学习与发展性学习策略，减少对人工监督的依赖。
• 以模仿人类视觉学习的方式建模物体识别，强调持久性与增量学习。
• 开发一种能够随时间记忆并识别新物体，同时避免灾难性遗忘的系统。

提出的方法

• 该框架利用时间与空间持久性识别帧间稳定的视觉不变量，实现鲁棒的物体跟踪与识别。
• 采用基于相似性的度量学习方法对已知物体进行分类，并在无先验标注的情况下检测新物体。
• 采用发展性学习策略，逐步引入新物体，优先选择具有高持久性与显著性的物体。
• 通过在线主动学习选择性地获取用户反馈，仅在不确定性较高时触发，从而最小化监督负担。
• 系统维护所有遇到物体的记忆，存储其特征与嵌入向量，以支持增量检索与重识别。
• 采用双训练与评估策略（随机 vs. 发展性），支持对训练顺序对性能影响的消融研究。

实验结果

研究问题

• RQ1 系统是否能在极少人工监督下，实现在自我中心场景中的开放世界、实例级物体识别？
• RQ2 在持续学习场景中，持久性与相似性如何提升识别性能？
• RQ3 发展性学习策略在多大程度上减少了对人工标注数据的需求？
• RQ4 在低监督环境下，训练样本的顺序如何影响识别与聚类性能？
• RQ5 当物体首次出现时完全无反馈，系统是否仍能记忆并重识别新物体？

主要发现

• 与随机顺序相比，采用发展性策略进行训练与评估时，Follower在实例准确率（AIA）上最高提升100%。
• 仅使用36个训练样本时，Follower在发展性策略下仍保持0.72的AIA，显著优于随机策略（0.69）。
• 在低监督条件下，采用发展性训练策略时，聚类性能保持强劲，ARI与AMI值在数据减少时仍高于0.5。
• 发展性训练策略使模型在所有监督水平下均保持高识别准确率，而随机策略在数据减少时性能急剧下降。
• 即使在完全无用户反馈的情况下，系统仍能成功识别并记忆新物体，证明了其自主新颖性检测能力。
• 性能提升在实例级识别中最为显著，发展性策略在低监督条件下显著提升了AIA与聚类指标。