[论文解读] Detection-by-Localization: Maintenance-Free Change Object Detector

Tanaka Kanji|arXiv (Cornell University)|Sep 14, 2018

Advanced Chemical Sensor Technologies被引用 5

一句话总结

本文提出了一种免维护的、无监督的基于目标的变更检测方法，采用检测-定位机制，其中通过自定位性能（真实参考图像在检索列表中的排名）生成像素级变更可能性（LoC）图。通过无监督的排名融合策略融合子图像级别的排名，该方法在无需相关性分数或训练数据的情况下实现了高检测精度，即使无法访问原始相似度分数，其性能仍优于基于分数的基线方法。

ABSTRACT

Recent researches demonstrate that self-localization performance is a very useful measure of likelihood-of-change (LoC) for change detection. In this paper, this "detection-by-localization" scheme is studied in a novel generalized task of object-level change detection. In our framework, a given query image is segmented into object-level subimages (termed "scene parts"), which are then converted to subimage-level pixel-wise LoC maps via the detection-by-localization scheme. Our approach models a self-localization system as a ranking function, outputting a ranked list of reference images, without requiring relevance score. Thanks to this new setting, we can generalize our approach to a broad class of self-localization systems. Our ranking based self-localization model allows to fuse self-localization results from different modalities via an unsupervised rank fusion derived from a field of multi-modal information retrieval (MMR).

研究动机与目标

• 解决在动态环境中检测子图像或目标级别的变更对象的挑战，而无需人工标注或模型微调。
• 将自定位性能推广为基于目标的变更可能性（LoC）度量。
• 开发一种无监督框架，通过融合子图像级别的排名生成像素级LoC图，且不依赖相关性分数或标注数据。
• 通过重用现有的自定位引擎和地图数据库，最小化地图维护系统中的维护成本。
• 通过基于排名的场景部分融合，实现实时、可扩展的视觉SLAM系统中的变更检测。

提出的方法

• 该方法将查询图像分割为基于目标的子图像（场景部分），每个子图像均作为自定位系统的一个查询。
• 通过真实参考图像在检索列表中的排名来衡量自定位性能，该排名作为LoC的代理指标。
• 每个子图像根据其排名值生成子图像级别的像素级LoC图，排名越低表示变更可能性越高。
• 采用无监督的排名融合策略，在像素级别融合重叠的子图像LoC图，聚合多个场景部分的证据。
• 融合过程采用改进的多模态检索（MMR）方法，结合排名而无需原始相关性分数。
• 通过像素级排名融合将子图像LoC图合并，生成最终的图像级LoC图，实现对变更的基于目标的定位。

实验结果

研究问题

• RQ1 能否有效利用真实图像在检索列表中的排名作为基于目标的变更可能性的代理指标？
• RQ2 如何在无法访问相关性分数的情况下，融合子图像级别的排名以生成可靠且像素级的LoC图？
• RQ3 与基于分数的融合或无融合方法相比，无监督排名融合在基于目标的变更检测中能带来多大的性能提升？
• RQ4 该方法在小尺寸或低分辨率的变更对象上的表现如何？最小可检测对象尺寸是多少？
• RQ5 该框架能否在无需微调的情况下泛化至不同的自定位系统和模态？

主要发现

• 所提出的排名融合方法在未访问原始相关性分数的情况下，性能与基于分数的融合方法（如分数最大值和分数求和）相当。
• 该方法优于“无融合排名”基线，证明了像素级排名融合能显著提升检测精度。
• 在不同由RoC阈值控制的难度级别下性能均保持稳健，且对参数设置不敏感。
• 该方法成功检测到由低分辨率子图像生成的视觉上微小的对象，表明对细微变化具有强敏感性。
• 在基线方法中，“分数最大值”策略表现最佳，但需要相似度分数的可用性，凸显了所提无监督方法的优势。
• 该框架的无监督特性使其能够无需微调或额外数据收集，广泛泛化至多种自定位系统。