[論文レビュー] Interactive Binary Image Segmentation with Edge Preservation

Jianfeng Zhang, Liezhuo Zhang+4 more|arXiv (Cornell University)|Sep 10, 2018

Medical Image Segmentation Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、スーパーピクセル上でジオデシック距離に基づく単一項とバイラテラル適合性を用いたマルコフ確率場（MRF）を用いた、インタラクティブなバイナリ画像セグメンテーションの新規手法を提案する。FBS（Fast Bilateral Solver）と勾配降下法を交互に用いることで、VGGデータセットにおいて最先端の手法を上回る高品質でエッジを保持するセグメンテーションを、計算効率と正確性の両面で向上させた。

ABSTRACT

Binary image segmentation plays an important role in computer vision and has been widely used in many applications such as image and video editing, object extraction, and photo composition. In this paper, we propose a novel interactive binary image segmentation method based on the Markov Random Field (MRF) framework and the fast bilateral solver (FBS) technique. Specifically, we employ the geodesic distance component to build the unary term. To ensure both computation efficiency and effective responsiveness for interactive segmentation, superpixels are used in computing geodesic distances instead of pixels. Furthermore, we take a bilateral affinity approach for the pairwise term in order to preserve edge information and denoise. Through the alternating direction strategy, the MRF energy minimization problem is divided into two subproblems, which then can be easily solved by steepest gradient descent (SGD) and FBS respectively. Experimental results on the VGG interactive image segmentation dataset show that the proposed algorithm outperforms several state-of-the-art ones, and in particular, it can achieve satisfactory edge-smooth segmentation results even when the foreground and background color appearances are quite indistinctive.

研究の動機と目的

• ユーザーが提供するスクラッチ（スクラッチ入力）を組み込むことで、インタラクティブバイナリ画像セグメンテーションにおける曖昧な色の出現を解消すること。
• 従来の手法が失敗するような複雑な形状や低コントラスト画像において、セグメンテーションの正確性とエッジ保持性を向上させること。
• スーパーピクセルレベルでのジオデシック距離計算により、計算コストを低減しながらも高いセグメンテーション品質を維持すること。
• MRFフレームワーク内でのバイラテラル適合性を正則化子として用いることで、境界の感度と滑らかさを向上させること。
• 交互方向戦略による最適化の分離により、リアルタイム応答性を実現したインタラクティブセグメンテーションを達成すること。

提案手法

• 単一項は、スーパーピクセルの中心から前景および背景のシード集合までのジオデシック距離を計算することで構築され、ピクセルレベルの計算と比較して計算負荷を低減する。
• ペairワイズ項はバイラテラル適合性を用い、エッジを保持するとともにノイズを低減する。これは、高速バイラテラルソルバー（FBS）のエッジに敏感な平滑化特性を活用する。
• MRFエネルギー最小化問題は、交替方向乗数法（ADMM）を用いて2つの部分問題に分解される。
• 最初の部分問題は、ラベル最適化のための勾配降下法（SGD）により解かれる。一方、2番目の部分問題は、FBSを用いて効率的に滑らかさの強制を実行する。
• スーパーピクセルは画像構造の近似に用いられ、セグメンテーションの忠実性を損なわずにジオデシック距離計算を高速化する。
• ユーザーのクリックやスクラッチをシード入力として統合し、ユーザーの意図に一致するセグメンテーションプロセスを促進する。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルベースのジオデシック距離計算は、インタラクティブバイナリセグメンテーションにおいて、計算コストを著しく低減しつつも、セグメンテーションの正確性を維持できるか？
• RQ2 低コントラストまたは複雑なテクスチャ下で、バイラテラル適合性正則化は全変動（TV）と比較して、物体境界をどれほど効果的に保持できるか？
• RQ3 交互方向戦略が、高品質な結果を得つつ、効率的かつ応答性の高いインタラクティブセグメンテーションを実現する程度はどの程度か？
• RQ4 計算効率とセグメンテーション性能のバランスを最適化するための最適なスーパーピクセル数は何か？
• RQ5 前景と背景の色が視覚的に類似している場合、提案手法が優れたエッジの滑らかさと正確性を達成できるか？

主な発見

• 提案手法は、元のアノテーションを用いたVGGデータセットにおいて、平均交差率（IoU）0.834およびF2スコア0.930を達成し、多数の最先端手法を上回った。
• 修正されたアノテーションを用いた場合、IoUは0.841、F2スコアは0.934を記録し、アノテーションの変動に対してもロバストで一貫性のある性能を示した。
• FBSモジュールの導入により、1600個のスーパーピクセルを用いたセグメンテーション結果において、境界の連続性と滑らかさが顕著に向上したことが視覚的に確認された。
• 1600個を超えてスーパーピクセル数を増加させても、性能向上は最小限にとどまり、1600が正確性と効率性の良好なトレードオフを提供していることが示された。
• 比較的視覚的な可視性の低い領域においても、FBSを用いた手法が全変動ベースの正則化子を上回り、より連続的かつ正確な物体境界を生成したことが、可視化比較で示された。
• アブレーションスタディにより、FBSに基づくバイラテラル適合性項がノイズを効果的に低減するとともに、特に困難な低コントラスト領域で鋭いエッジを維持していることが確認された。