[論文レビュー] Efficient Multiscale Object-based Superpixel Framework

Felipe Belém, Benjamin Perret+3 more|arXiv (Cornell University)|Apr 7, 2022

Medical Image Segmentation Techniques被引用数 7

ひとこと要約

本稿では、反復的シード過剰サンプリングとオブジェクト指向のシード除去を用いて、高精度で効率的なスーパーピクセルセグメンテーションを実現する、新しいマルチスケールでオブジェクトベースのスーパーピクセルフレームワークSICLEを提案する。DISFおよびODISFの一般化により、明確な境界抽出が著しくサリエンシーマップの品質に依存せず、効果性と速度の両面で最先端の手法を上回り、OISFに比べて最大2.5倍速く実行可能であり、SLICと同等の性能を発揮する。

ABSTRACT

Superpixel segmentation can be used as an intermediary step in many applications, often to improve object delineation and reduce computer workload. However, classical methods do not incorporate information about the desired object. Deep-learning-based approaches consider object information, but their delineation performance depends on data annotation. Additionally, the computational time of object-based methods is usually much higher than desired. In this work, we propose a novel superpixel framework, named Superpixels through Iterative CLEarcutting (SICLE), which exploits object information being able to generate a multiscale segmentation on-the-fly. SICLE starts off from seed oversampling and repeats optimal connectivity-based superpixel delineation and object-based seed removal until a desired number of superpixels is reached. It generalizes recent superpixel methods, surpassing them and other state-of-the-art approaches in efficiency and effectiveness according to multiple delineation metrics.

研究の動機と目的

• 古典的なスーパーピクセル手法がオブジェクト認識能力に欠け、関連するオブジェクト境界を保持できないという限界を解消すること。
• 既存のオブジェクトベースのスーパーピクセル手法における高い計算コストとサリエンシーマップ品質への感受性を克服すること。
• 繰り返し実行可能なマルチスケールのスーパーピクセル生成を可能とするフレームワークの開発、並びに反復回数の直接制御を可能とすること。
• DISFおよびODISFのような既存の反復的スーパーピクセル手法を一般化し、制御可能な反復回数の上限を設け、効率性を向上させること。
• 不完全なオブジェクトサリエンシーマップに対しても耐性を示しながら、優れたセグメンテーション精度と速度を達成すること。

提案手法

• SICLEは、関連するオブジェクト領域を捉える可能性を高めるために、初期段階でシードを過剰サンプリングする。
• 画像フォレストリング変換（IFT）を用いて、最適な接続性に基づくスーパーピクセルの境界を反復的に明確化することで、ピクセルをシードに割り当てる。
• 各反復において、指数関数的減衰曲線に従い、最も関連性の低いシードの一部を除去することで、直前のステップで得られた正確なオブジェクト境界を保持する。
• 最大反復回数を設定することで、アルゴリズムは反復回数を動的に制御し、計算コストと出力スケールに対する明確な制御を可能にする。
• オブジェクト情報はサリエンシーマップを介して統合されるが、実際のセグメンテーション処理ではそのマップに依存しないため、マップの誤りに対しても耐性を示す。
• SICLEはDISFおよびODISFを一般化し、反復回数の直接制御が可能であり、多様なオブジェクトスケールにわたり高いパフォーマンスを維持する。

実験結果

リサーチクエスチョン

• RQ1 1回の実行でマルチスケールのセグメンテーションを実現しつつ、高い境界精度と低い計算コストを両立できるスーパーピクセルフレームワークは存在するか？
• RQ2 入力のサリエンシーマップの誤りに対して、オブジェクト認識型スーパーピクセルセグメンテーションはどの程度耐性を示せるか？
• RQ3 制御可能な反復回数制限付きの反復的シード除去は、従来のシード再計算手法に比べて、効率性と正確性の面でどの程度向上するか？
• RQ4 過剰サンプリングとオブジェクトベースのシード pruning を組み合わせた手法は、SLIC や OISF と比較して、速度と境界明確化の両面で優れているか？
• RQ5 DISFおよびODISFの一般化は、パフォーマンスを損なわず、反復回数の直接制御を可能にするように設計可能か？

主な発見

• SICLEは、ECSSD、PASCAL-S、DUT-OMRONを含むすべてのテストデータセットで、境界精度（UEで測定）において最良またはほぼ最良の性能を達成した。
• ECSSDデータセットでは、750個のスーパーピクセルで平均実行時間が0.361秒に留まり、OISF（1.182秒）を上回り、高密度のスーパーピクセル数においてSLIC（0.477秒）よりも高速だった。
• SICLEの計算複雑度はO(|V| log|V|)で上限が定められており、主にIFT実行に起因するが、最大5回の反復に制限されているため、実際の実行速度はSLICを上回っている。
• サリエンシーマップの誤りに対しても耐性がある：劣悪なマップでさえも、SICLEは高い境界精度を維持するが、OISFは誤ったマップで著しく性能が低下する。
• SH、ERS、OISFとの定性的比較により、SICLEは多様なオブジェクトタイプとスケールにわたり一貫した高品質なスーパーピクセル結果を生成することが実証された。
• SICLEは各反復で希望するスーパーピクセル数を設定することで、事前の複数回の実行を必要とせずに、リアルタイムでのマルチスケールスーパーピクセル生成を可能にした。