[論文レビュー] Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation

Jianqiang Wan, Yang Liu+3 more|arXiv (Cornell University)|May 30, 2020

Medical Image Segmentation Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、境界から各画素へ向かう方向（BPD）ベクトル—各画素の最も近い境界からその画素へ向かう単位ベクトル—を用いて、方向的に一貫性があり頑健なスーパーピクセルを生成する、新しい高速画像セグメンテーション手法Super-BPDを提案する。隣接するスーパービープド（Super-BPD）間の方向類似度を活用することで、粗い段階から細かい段階への効率的なセグメンテーションが可能となり、BSDS500およびPascal ContextでMCGと同等またはそれ以上の性能を達成しながら、ほぼリアルタイムの推論（約25 fps）を実現する。

ABSTRACT

Image segmentation is a fundamental vision task and a crucial step for many applications. In this paper, we propose a fast image segmentation method based on a novel super boundary-to-pixel direction (super-BPD) and a customized segmentation algorithm with super-BPD. Precisely, we define BPD on each pixel as a two-dimensional unit vector pointing from its nearest boundary to the pixel. In the BPD, nearby pixels from different regions have opposite directions departing from each other, and adjacent pixels in the same region have directions pointing to the other or each other (i.e., around medial points). We make use of such property to partition an image into super-BPDs, which are novel informative superpixels with robust direction similarity for fast grouping into segmentation regions. Extensive experimental results on BSDS500 and Pascal Context demonstrate the accuracy and efficency of the proposed super-BPD in segmenting images. In practice, the proposed super-BPD achieves comparable or superior performance with MCG while running at ~25fps vs. 0.07fps. Super-BPD also exhibits a noteworthy transferability to unseen scenes. The code is publicly available at https://github.com/JianqiangWan/Super-BPD.

研究の動機と目的

• 弱い境界を有する自然画像における従来の教師なし画像セグメンテーション手法の非効率性と不正確さを是正すること。
• 最先端の手法で一般的な輪郭からセグメンテーションへの変換パイプラインにおける高い計算コストと誤差の累積を克服すること。
• ピクセルと境界間の方向的関係を符号化するスーパーピクセルに類似した構造を構築し、頑健で効率的なセグメンテーションを実現すること。
• 深層学習の微調整を必要とせず、オブジェクト候補生成などの下流タスクに適した、高速で転送可能なセグメンテーションを可能にすること。
• 特に弱い境界を有する困難な状況においても、セグメンテーションの精度と推論速度の優れたトレードオフを達成すること。

提案手法

• 境界から画素へ向かう方向（BPD）を、2次元の単位ベクトルとして定義し、境界の位置と相対的な領域所属関係を符号化する。
• 類似するBPDを持つ画素をグループ化することで画像をスーパービープド（Super-BPD）に分割し、コン pact で方向的に一貫性のある領域を形成し、弱い境界に対しても頑健である。
• 隣接するスーパービープド間のエッジを、共有境界に沿った方向類似度で重み付けした領域隣接グラフ（RAG）を構築する。
• RAG上で方向類似度を用いて粗い段階から細かい段階へのマージ戦略を適用し、最終的なセグメンテーション領域を形成する。
• BPDベクトルをエンドツーエンドで予測する微分可能ネットワークを用い、L2損失と角度ドメイン損失の組み合わせによる損失関数を採用して方向の正確性を向上させる。
• 境界に沿った方向類似度計算におけるステップ数sを最適化し、s=3が最良の性能を示すことが判明した。

実験結果

リサーチクエスチョン

• RQ1 境界から画素への方向表現は、従来のスーパーピクセルに代わるより頑健で効率的な画像セグメンテーションの代替手段となり得るか？
• RQ2 隣接するスーパービープド間の方向類似度は、特に弱い境界においても正確で効率的なセグメンテーションを可能にするか？
• RQ3 提案手法は、MCGのような最先端の手法と同等またはそれ以上の精度を維持しながら、リアルタイム性能を達成できるか？
• RQ4 学習されたBPD表現は、未観測のシーンやオブジェクト候補生成などの下流タスクにどれほど転送可能か？
• RQ5 ハイパーパrameter（例：ステップ数s、損失関数）の中で、セグメンテーション性能に最も顕著に影響を与えるものは何か、そしてその理由は何か？

主な発見

• Super-BPDはPASCAL Contextデータセットで0.472のリージョンF-measureを達成し、MCG（0.454）および他のベースラインを上回った。
• 本手法はPASCAL Context上で約25 fpsで実行され、MCGの0.07 fpsと比べて著しく高速であり、ほぼリアルタイムの推論を実現した。
• ASPPモジュールはPASCAL Contextで0.018、BSDS500で0.012の性能向上をもたらし、大規模な領域構造を捉える価値があることを確認した。
• L2損失と角度ドメイン損失を併用した場合が最良の性能（PASCAL Contextで0.472のF_op）を示し、単独での損失関数使用を上回った。
• 方向類似度計算における最適なステップ数s=3が、方向の一貫性と局所的変動のバランスを最良にしたため、最高の精度を達成した。
• オブジェクト候補生成のタスクでは、Super-BPDはM-BINGに比べ、PASCAL VOC2007で500候補までにほぼ2倍の検出リ콜を向上させた。