[논문 리뷰] GridShift: A Faster Mode-seeking Algorithm for Image Segmentation and Object Tracking

Abhishek Kumar, Oladayo S. Ajani외 2명|arXiv (Cornell University)|2022. 06. 05.

Receptor Mechanisms and Signaling인용 수 4

한 줄 요약

이 논문은 이미지 분할 및 물체 추적을 위한 더 빠른 모드 탐색 알고리즘인 GridShift(GS)를 제안한다. GS는 격자 기반 이웃 탐색과 활성 격자 셀의 중심 기반 이동을 통해 평균 이동 클러스터링을 가속화한다. GS는 데이터 포인트에 대해 선형 시간 복잡도를, 특성에 대해 지수적 시간 복잡도를 가지며, MS++, CamShift 및 최신 기술들보다 속도(최대 MS++ 대비 40배 빠름)와 정확도에서 뛰어난 성능을 보인다. benchmark 데이터셋에서 입증되었다.

ABSTRACT

In machine learning and computer vision, mean shift (MS) qualifies as one of the most popular mode-seeking algorithms used for clustering and image segmentation. It iteratively moves each data point to the weighted mean of its neighborhood data points. The computational cost required to find the neighbors of each data point is quadratic to the number of data points. Consequently, the vanilla MS appears to be very slow for large-scale datasets. To address this issue, we propose a mode-seeking algorithm called GridShift, with significant speedup and principally based on MS. To accelerate, GridShift employs a grid-based approach for neighbor search, which is linear in the number of data points. In addition, GridShift moves the active grid cells (grid cells associated with at least one data point) in place of data points towards the higher density, a step that provides more speedup. The runtime of GridShift is linear in the number of active grid cells and exponential in the number of features. Therefore, it is ideal for large-scale low-dimensional applications such as object tracking and image segmentation. Through extensive experiments, we showcase the superior performance of GridShift compared to other MS-based as well as state-of-the-art algorithms in terms of accuracy and runtime on benchmark datasets for image segmentation. Finally, we provide a new object-tracking algorithm based on GridShift and show promising results for object tracking compared to CamShift and meanshift++.

연구 동기 및 목표

• 기존 평균 이동(MS) 클러스터링이 데이터 크기에 따라 제곱 시간 복잡도를 보이며, 이는 대규모 이미지 분할 및 추적 응용에 제한을 둔다는 점을 해결하기 위해.
• MS 및 그 변종(MS++, CamShift 등)의 대안으로서 확장 가능하고 효율적이면서도 정확도를 유지하면서 런타임을 극적으로 줄이는 방법을 개발하기 위해.
• 변화하는 조명 조건과 색상 조건에서의 동적 환경에서도 강력하고 실시간으로 물체 추적을 가능하게 하여, CamShift와 같은 히스토그램 기반 추적기의 한계를 극복하기 위해.
• 이웃 탐색을 가속화하고 빠르게 움직이는 물체를 위한 효율적이고 적응적인 추적 윈도우 갱신을 가능하게 하는 격자 기반 프레임워크를 도입하기 위해.

제안 방법

• GridShift는 특성 공간을 고정된 격자로 분할하고, 각 데이터 포인트를 격자 셀에 할당함으로써, 이웃 탐색 복잡도를 O(n²)에서 O(n)으로 감소시킨다. 이는 오직 인접한 격자 셀들만 검사하기 때문이다.
• 개별 데이터 포인트를 이동시키는 대신, GridShift는 각 활성 격자 셀 내의 모든 포인트의 중심(가중 평균)을 계산하고 갱신함으로써 반복 과정에서 처리해야 할 포인트 수를 줄인다.
• 알고리즘은 평균 이동 유사 업데이트를 반복적으로 적용하여 활성 격자 셀의 중심을 밀도가 높은 영역으로 이동시키며, 격자 구조를 활용해 수렴 속도를 가속화한다.
• GridShift는 물체 크기 변화나 운동에 따라 추적 윈도우를 확장하거나 수축시키는 동적 윈도우 적응 기법을 통합하여, 빠르게 움직이는 물체에 대한 강건성을 향상시킨다.
• 물체 추적에 있어서 GS는 CamShift의 정적 색상 히스토그램을 대체로 동적 격자 셀 박스화 시스템을 도입함으로써, 환경 변화와 유사 색상의 간섭 요소에 실시간으로 적응할 수 있도록 한다.
• 이 방법은 저차원, 대규모 데이터에 최적화되어 있어, 이미지 분할 및 영상 추적 응용에 이상적이다.

Figure 1: Comparison of five algorithms on three baseline segmentation problems taken from [ 19 ] . GS returns qualitatively good image segmentation results in all baseline images with lower runtime than other state-of-the-art algorithms: 40x, 10x, 8x, and 500x faster than MS++, Felzenszwalb, SLIC,

실험 결과

연구 질문

• RQ1 격자 기반 접근 방식이 평균 이동 클러스터링의 계산 복잡도를 크게 감소시키면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 GridShift가 MS++, CamShift 및 기타 최신 기술들과 비교하여 벤치마크 데이터셋에서 런타임과 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 GridShift는 유사 색상 간섭 요소와 변화하는 조명 조건이 있는 도전적인 상황에서도 강력하고 실시간으로 물체 추적을 가능하게 할 수 있는가?
• RQ4 고정된 히스토그램 대신 동적 격자 셀 박스화를 사용할 경우 추적의 강건성과 환경 변화에 대한 적응성 향상에 기여하는가?
• RQ5 GridShift는 기존 추적 파이프라인에 효과적으로 통합되어 추가적인 계산 오버헤드 없이 성능 향상을 이룰 수 있는가?

주요 결과

• GridShift는 MS++ 대비 최대 40배 빠르고, 원시 평균 이동 대비 최대 40,000배 빠르며, 런타임은 활성 격자 셀 수에 대해 선형이고, 특성 차원에 대해 지수적이다.
• 이미지 분할 벤치마크에서 GridShift는 SLIC, Quickshift, Felzenszwalb, MS++ 모두를 정확도와 런타임 측면에서 앞서며, 이들보다 8배에서 500배 빠른 성능을 보였다.
• 물체 추적에서 GS 기반 추적기(USOT-GS)는 OTB100에서 AUC 0.651과 정밀도 P 0.872를 기록하여, SiamRPN 및 USOT를 포함한 12개의 최신 기술 추적기들을 초월했다.
• GridShift는 저조도 조건이나 유사 색상 간섭 요소가 있는 도전적인 조건에서도 CamShift가 정적 색상 히스토그램에 의존하여 실패하는 상황에서도 물체를 성공적으로 추적할 수 있었다.
• GS의 동적 윈도우 적응 및 격자 셀 박스화 기법은 빠르게 움직이는 물체의 추적을 효과적으로 가능하게 하여, MS++의 핵심 한계를 해결했다.
• USOT 추적기(USOT-GS)에 GS를 통합함으로써 USOT 및 USOT*보다 성능 향상을 입증하였으며, GS가 기존 추적 프레임워크에 효과적인 플러그인 모듈임을 보여주었다.

Figure 2: Comparison of GS and CS on two baseline object tracking problems taken from [ 30 ] . Upper row : we are tracking the cyclist’s face (target object shown by blue colored box). CS algorithm fails to track due to low lighting on the face and background with a high density of green color. On t