[论文解读] GridShift: A Faster Mode-seeking Algorithm for Image Segmentation and Object Tracking

Abhishek Kumar, Oladayo S. Ajani+2 more|arXiv (Cornell University)|Jun 5, 2022

Receptor Mechanisms and Signaling被引用 4

一句话总结

本文提出GridShift（GS），一种用于图像分割和目标跟踪的更快模式搜索算法，通过基于网格的邻域搜索和活动网格单元的质心移动，加速均值漂移聚类。GS在数据点上实现线性时间复杂度，在特征上实现指数时间复杂度，在基准数据集上的速度（最快达MS++的40倍）和精度上均优于MS++、CamShift及最先进方法。

ABSTRACT

In machine learning and computer vision, mean shift (MS) qualifies as one of the most popular mode-seeking algorithms used for clustering and image segmentation. It iteratively moves each data point to the weighted mean of its neighborhood data points. The computational cost required to find the neighbors of each data point is quadratic to the number of data points. Consequently, the vanilla MS appears to be very slow for large-scale datasets. To address this issue, we propose a mode-seeking algorithm called GridShift, with significant speedup and principally based on MS. To accelerate, GridShift employs a grid-based approach for neighbor search, which is linear in the number of data points. In addition, GridShift moves the active grid cells (grid cells associated with at least one data point) in place of data points towards the higher density, a step that provides more speedup. The runtime of GridShift is linear in the number of active grid cells and exponential in the number of features. Therefore, it is ideal for large-scale low-dimensional applications such as object tracking and image segmentation. Through extensive experiments, we showcase the superior performance of GridShift compared to other MS-based as well as state-of-the-art algorithms in terms of accuracy and runtime on benchmark datasets for image segmentation. Finally, we provide a new object-tracking algorithm based on GridShift and show promising results for object tracking compared to CamShift and meanshift++.

研究动机与目标

• 为解决传统均值漂移（MS）聚类的高计算成本问题，其时间复杂度随数据规模呈二次方增长，限制了其在大规模图像分割和跟踪中的应用。
• 开发一种可扩展、高效的MS及其变体（如MS++、CamShift）替代方案，在显著降低运行时间的同时保持高精度。
• 在光照和颜色条件变化的动态环境中实现鲁棒的实时目标跟踪，克服基于直方图的跟踪器（如CamShift）的局限性。
• 提出一种基于网格的框架，加速邻域搜索，并实现高效、自适应的跟踪窗口更新，以应对快速运动目标。

提出的方法

• GridShift将特征空间划分为固定网格，将每个数据点分配至一个网格单元，通过仅检查邻近网格单元，将邻域搜索复杂度从O(n²)降低至O(n)。
• 与逐点移动不同，GS计算并更新每个活动网格单元中所有点的质心（加权均值），从而在迭代过程中减少需处理的点数。
• 该算法通过均值漂移式更新，迭代地将活动网格单元的质心向高密度区域移动，利用网格结构加速收敛。
• GS引入一种动态窗口自适应机制，根据目标尺寸变化或运动情况扩展或收缩跟踪窗口，提升对快速运动的鲁棒性。
• 在目标跟踪中，GS将CamShift中的静态颜色直方图替换为动态网格单元分箱系统，实现对场景变化和相似颜色干扰物的实时适应。
• 该方法专为低维、大规模数据设计，适用于图像分割和视频跟踪应用。

Figure 1: Comparison of five algorithms on three baseline segmentation problems taken from [ 19 ] . GS returns qualitatively good image segmentation results in all baseline images with lower runtime than other state-of-the-art algorithms: 40x, 10x, 8x, and 500x faster than MS++, Felzenszwalb, SLIC,

实验结果

研究问题

• RQ1 基于网格的方法能否显著降低均值漂移聚类的计算复杂度，同时保持或提升分割精度？
• RQ2 在基准数据集上，GridShift与MS++、CamShift及其他最先进分割算法相比，在运行时间和精度方面表现如何？
• RQ3 GridShift能否在存在相似颜色干扰物和光照变化的挑战性场景中实现鲁棒的实时目标跟踪？
• RQ4 与固定直方图相比，使用动态网格单元分箱是否能提升跟踪的鲁棒性和对场景变化的适应性？
• RQ5 GridShift能否有效集成到现有跟踪流水线中，在不增加计算开销的前提下提升性能？

主要发现

• GS在MS++上实现最高达40倍的加速，在原始均值漂移上实现最高达40,000倍的加速，运行时间与活动网格单元数量呈线性关系，与特征维度呈指数关系。
• 在图像分割基准测试中，GS在精度和运行时间上均优于SLIC、Quickshift、Felzenszwalb和MS++，其结果比这些方法快8至500倍。
• 在目标跟踪中，基于GS的跟踪器（USOT-GS）在OTB100数据集上达到AUC 0.651和精度P 0.872，优于12种最先进跟踪器，包括SiamRPN和USOT。
• GS在低光照或存在相似颜色干扰物等挑战性条件下成功跟踪目标，而CamShift因依赖静态颜色直方图而失效。
• GS中的动态窗口自适应和网格单元分箱机制有效实现了对快速运动目标的跟踪，解决了MS++的关键局限。
• 将GS集成到USOT跟踪器中（USOT-GS）后，性能优于USOT和USOT*，证明了GS作为现有跟踪框架插件模块的有效性。

Figure 2: Comparison of GS and CS on two baseline object tracking problems taken from [ 30 ] . Upper row : we are tracking the cyclist’s face (target object shown by blue colored box). CS algorithm fails to track due to low lighting on the face and background with a high density of green color. On t