[論文レビュー] SEEDS: Superpixels Extracted via Energy-Driven Sampling

Michael Van den Bergh, Xavier Boix+2 more|arXiv (Cornell University)|Sep 16, 2013

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

SEEDSは、初期のグリッドベースの分割を反復的な境界最適化によって改善するリアルタイムのスーパーピクセルアルゴリズムを提案する。色均一性と境界滑らかさのエネルギー関数をブロック単位の境界更新で高速に評価するエネルギー駆動型の勾配上昇法を用いることで、単一のCPU上で30Hzの速度で最先端の精度を達成し、従来の手法よりも高速でありながら、競争力あるセグメンテーション品質を維持する。

ABSTRACT

Superpixel algorithms aim to over-segment the image by grouping pixels that belong to the same object. Many state-of-the-art superpixel algorithms rely on minimizing objective functions to enforce color ho- mogeneity. The optimization is accomplished by sophis- ticated methods that progressively build the superpix- els, typically by adding cuts or growing superpixels. As a result, they are computationally too expensive for real-time applications. We introduce a new approach based on a simple hill-climbing optimization. Starting from an initial superpixel partitioning, it continuously refines the superpixels by modifying the boundaries. We define a robust and fast to evaluate energy function, based on enforcing color similarity between the bound- aries and the superpixel color histogram. In a series of experiments, we show that we achieve an excellent com- promise between accuracy and efficiency. We are able to achieve a performance comparable to the state-of- the-art, but in real-time on a single Intel i7 CPU at 2.8GHz.

研究の動機と目的

• 標準的なハードウェア上で高精度かつリアルタイム性能を達成するスーパーピクセルアルゴリズムの開発。
• 複雑なグラフベースや段階的成長最適化に依存する従来のスーパーピクセル手法の計算制限を克服すること。
• 初期の分割から出発し、ピクセルの交換を通じて反復的に境界を改善する、新しいリファインメントベースのアプローチの導入。
• リアルタイム応用に適した高速な評価と効率的な最適化を可能にするエネルギー関数の設計。
• 階層的なブロック更新を用いた単純な勾配上昇戦略が、より複雑な最先端の手法と同等またはそれを上回る性能を達成できることの実証。

提案手法

• スーパーピクセルを均一なグリッドとして初期化し、隣接するスーパーピクセル間のピクセル交換によって境界を反復的に最適化する。
• 色均一性と境界滑らかさを組み合わせた複合エネルギー関数を増加させる場合にのみ、境界変更を受け入れる勾配上昇最適化を採用する。
• スーパーピクセルとその境界間の色ヒストグラム類似度を用いてエネルギー関数を定義し、滑らかで規則的な境界を好む項を含む。
• 境界更新は階層的に実行され、大規模なブロックから始めてピクセルレベルに段階的に細分化され、ピクセル移動ごとに1回のメモリ参照で評価が可能になる。
• ピクセル交換がエネルギー関数に与える影響を効率的に計算するため、ブロックベースの近隣構造を用いることで計算オーバーヘッドを低減する。
• 局所的で段階的な改善に焦点を当てることで、高コストなグラフ分割や反復的クラスタリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたグリッド分割に対して単純な勾配上昇最適化を適用することで、最先端の手法と同等のスーパーピクセル品質を達成できるか？
• RQ2 局所的更新が高速でリアルタイム性能を実現できるようなエネルギー関数を設計することは可能か？ その際、精度を損なわずに行えるか？
• RQ3 階層的なブロック単位の境界リファインメントとピクセルレベルの更新を比較すると、速度と収束性においてどのように異なるか？
• RQ4 提案手法は、GPUアクセラレーションを必要とせず、単一のCPU上で30Hzのリアルタイム性能を達成できるか？
• RQ5 境界滑らかさ項は、計算効率を損なわず、セグメンテーション品質を向上させることができるか？

主な発見

• SEEDSは、GPUや専用ハードウェアを必要とせず、Intel i7 2.8GHzプロセッサ1台で30Hzのリアルタイム性能を達成する。
• ノーマライズドカットやグラフ分割に基づく最良の非リアルタイムスーパーピクセル手法と同等の精度を達成する。
• ピクセル移動ごとに1回のメモリ参照でエネルギー関数の評価が可能であり、計算コストを顕著に低減する。
• 階層的なブロック更新により、ピクセルレベルでの微調整の前に大規模な変更を探索でき、収束が迅速になる。
• Berkeley Segmentation Datasetにおいて、既存のリアルタイムスーパーピクセルアルゴリズムと比較して、速度および境界精度の両面で優れた性能を示す。
• 提案されたエネルギー関数は、色均一性と境界滑らかさを効果的にバランスさせ、視覚的に整合性があり意味のあるスーパーピクセルを生成する。