[論文レビュー] GridShift: A Faster Mode-seeking Algorithm for Image Segmentation and Object Tracking

Abhishek Kumar, Oladayo S. Ajani+2 more|arXiv (Cornell University)|Jun 5, 2022

Receptor Mechanisms and Signaling被引用数 4

ひとこと要約

本稿では、グリッドベースの近隣探索とアクティブなグリッドセルの重心シフトを用いて、平均シフトクラスタリングを高速化することで、画像セグメンテーションおよびオブジェクト追跡のためのより高速なモード探索アルゴリズムであるGridShift (GS) を提案する。GSはデータポイントに対して線形時間計算量、特徴量に対して指数的時間計算量を達成し、MS++、CamShift、および最先端手法に比べて、ベンチマークデータセット上での速度（MS++の40倍まで高速）と精度の両面で優れている。

ABSTRACT

In machine learning and computer vision, mean shift (MS) qualifies as one of the most popular mode-seeking algorithms used for clustering and image segmentation. It iteratively moves each data point to the weighted mean of its neighborhood data points. The computational cost required to find the neighbors of each data point is quadratic to the number of data points. Consequently, the vanilla MS appears to be very slow for large-scale datasets. To address this issue, we propose a mode-seeking algorithm called GridShift, with significant speedup and principally based on MS. To accelerate, GridShift employs a grid-based approach for neighbor search, which is linear in the number of data points. In addition, GridShift moves the active grid cells (grid cells associated with at least one data point) in place of data points towards the higher density, a step that provides more speedup. The runtime of GridShift is linear in the number of active grid cells and exponential in the number of features. Therefore, it is ideal for large-scale low-dimensional applications such as object tracking and image segmentation. Through extensive experiments, we showcase the superior performance of GridShift compared to other MS-based as well as state-of-the-art algorithms in terms of accuracy and runtime on benchmark datasets for image segmentation. Finally, we provide a new object-tracking algorithm based on GridShift and show promising results for object tracking compared to CamShift and meanshift++.

研究の動機と目的

• 従来の平均シフト（MS）クラスタリングの高い計算コスト（データサイズに比例して2乗的に増加）を軽減し、大規模な画像セグメンテーションや追跡への応用を制限する要因を解消すること。
• MSおよびその変種（例：MS++、CamShift）の代替手段として、スケーラブルかつ効率的でありながら高い精度を維持する、実行時間の大幅な短縮を実現するアルゴリズムの開発。
• 照明や色の変化が激しい動的環境において、ロバストでリアルタイムのオブジェクト追跡を可能にすること。CamShiftのようなヒストグラムベースのトラッカーの限界を克服すること。
• 近隣探索の高速化と、高速移動するオブジェクトのための効率的で適応的なトラッキングウィンドウ更新を可能にするグリッドベースのフレームワークの導入。

提案手法

• GridShiftは特徴空間を固定グリッドに分割し、各データポイントを対応するグリッドセルに割り当てる。これにより、近隣探索の計算量をO(n²)からO(n)に削減し、隣接するグリッドセルのみをチェックする。
• 個々のデータポイントのシフトではなく、各アクティブなグリッドセルに属するすべてのポイントの重心（重み付き平均）を計算・更新することで、反復処理における処理対象のポイント数を削減する。
• グリッド構造を活用して密度が高い領域へ向かって重心を逐次シフトするmean shiftに類似した更新を繰り返し行い、収束を高速化する。
• オブジェクトのサイズ変化や動きに応じて、トラッキングウィンドウを拡大または縮小する動的ウィンドウ適応機構を導入し、高速移動に対するロバスト性を向上させる。
• オブジェクト追跡において、CamShiftの静的色ヒストグラムに代えて、動的グリッドセルビニングシステムを採用することで、シーン変化や同色のノイズ要因に対してもリアルタイムで適応可能となる。
• 本手法は低次元で大規模なデータに最適化されており、画像セグメンテーションおよび動画追跡の応用に適している。

Figure 1: Comparison of five algorithms on three baseline segmentation problems taken from [ 19 ] . GS returns qualitatively good image segmentation results in all baseline images with lower runtime than other state-of-the-art algorithms: 40x, 10x, 8x, and 500x faster than MS++, Felzenszwalb, SLIC,

実験結果

リサーチクエスチョン

• RQ1 グリッドベースの手法は、平均シフトクラスタリングの計算複雑度を著しく低減しつつ、セグメンテーションの精度を維持または向上させることができるか？
• RQ2 ベンチマークデータセット上での実行時間と精度の観点から、GridShiftはMS++、CamShift、および他の最先端のセグメンテーションアルゴリズムと比べてどのように差をつけるか？
• RQ3 GridShiftは、同色のノイズ要因や照明条件の変化が激しい状況においても、ロバストでリアルタイムのオブジェクト追跡を可能にするか？
• RQ4 固定ヒストグラムではなく動的グリッドセルビニングを使用することで、追跡のロバスト性とシーン変化への適応性が向上するか？
• RQ5 GridShiftは、計算オーバーヘッドを増加させることなく、既存の追跡パイプラインに効果的に統合可能か？

主な発見

• GridShiftは、MS++に対して最大40倍、オリジナルの平均シフトに対して最大40,000倍の高速化を達成し、実行時間はアクティブなグリッドセル数に線形に依存し、特徴次元数に対して指数関数的に増加する。
• 画像セグメンテーションのベンチマークにおいて、GridShiftはSLIC、Quickshift、Felzenszwalb、MS++の両方の精度と実行時間で優れており、これらの手法に比べて8倍から500倍の高速化を達成している。
• オブジェクト追跡において、GridShiftを用いたトラッカー（USOT-GS）はOTB100でAUC 0.651、精度P 0.872を達成し、SiamRPN や USOT を含む12の最先端トラッカーを上回っている。
• GridShiftは、照明が弱い状況や同色のノイズ要因がある状況でも、CamShiftが静的色ヒストグラムに依存するため失敗する状況でも、オブジェクトを正常に追跡できることを示している。
• GSにおける動的ウィンドウ適応とグリッドセルビニングにより、高速移動するオブジェクトの追跡が効果的に可能となり、MS++の主な限界を解消している。
• USOTトラッカーにGSを統合したUSOT-GSは、USOTおよびUSOT*を上回る性能を発揮しており、GSが既存の追跡フレームワークに効果的にプラグインモジュールとして統合可能であることを示している。

Figure 2: Comparison of GS and CS on two baseline object tracking problems taken from [ 30 ] . Upper row : we are tracking the cyclist’s face (target object shown by blue colored box). CS algorithm fails to track due to low lighting on the face and background with a high density of green color. On t