[論文レビュー] Deep GrabCut for Object Selection

Ning Xu, Brian Price+3 more|arXiv (Cornell University)|Jul 2, 2017

Advanced Neural Network Applications参考文献 17被引用数 14

ひとこと要約

この論文では、入力の長方形をユークリッド距離マップに変換することで、オブジェクトセグメンテーションのロバスト性を向上させる深層学習手法、Deep GrabCutを提案する。U-Net風のエンコーダ・デコーダネットワークにおいて、画像と距離マップを統合することで、配置が不正確なバウンディングボックスに対しても正確で文脈に配慮したセグメンテーションを達成する。再トレーニングなしで任意の閉曲線に一般化可能であり、CRFベースのラベリングによりインスタンスレベルのセマンティックセグメンテーションが向上する。

ABSTRACT

Most previous bounding-box-based segmentation methods assume the bounding box tightly covers the object of interest. However it is common that a rectangle input could be too large or too small. In this paper, we propose a novel segmentation approach that uses a rectangle as a soft constraint by transforming it into an Euclidean distance map. A convolutional encoder-decoder network is trained end-to-end by concatenating images with these distance maps as inputs and predicting the object masks as outputs. Our approach gets accurate segmentation results given sloppy rectangles while being general for both interactive segmentation and instance segmentation. We show our network extends to curve-based input without retraining. We further apply our network to instance-level semantic segmentation and resolve any overlap using a conditional random field. Experiments on benchmark datasets demonstrate the effectiveness of the proposed approaches.

研究の動機と目的

• バウンディングボックスベースのセグメンテーション手法が、長方形の配置が不適切または緩い場合に失敗するという限界を解消すること。
• 局所的な色やエッジ特徴を超えたグローバルな文脈と空間的関係を組み込むことで、セグメンテーション精度を向上させること。
• 緩いまたは不正確な長方形を入力として用いることで、ロバストで汎用的なオブジェクト選択を可能にすること。
• 再トレーニングなしで任意の閉曲線に一般化できることで、より柔軟なユーザーインタラクションを可能にすること。
• CRFベースのラベリングにより重複する検出を解消することで、インスタンスレベルのセマンティックセグメンテーションを向上させること。

提案手法

• 空間的関係とオブジェクトの近接度を符号化するため、入力の長方形をユークリッド距離マップに変換する。
• RGB画像と距離マップを連結し、エンドツーエンドの学習が可能なU-Net風のエンコーダ・デコーダネットワーク（CEDN）の入力として用いる。
• 配置が不正確な長方形を用いてネットワークをトレーニングすることで、長方形配置の誤差に対するロバスト性を向上させる。
• 重複する検出を解消し、一意なインスタンスレベルのラベルを生成するために条件付きランダムフィールド（CRF）を用いる。
• 同じ距離計算手法を用いて曲線を距離マップに変換することで、同じトレーニング済みネットワークを曲線入力に対しても適用可能にする。
• グローバルな文脈を理解しているため、入力形状がタイトなバウンディングボックスでない場合でも、精度を維持できる。

実験結果

リサーチクエスチョン

• RQ1 緩いや不適切な配置のバウンディングボックスを入力とした場合に、深層学習モデルが正確なオブジェクトセグメンテーションを達成できるか？
• RQ2 従来のバウンディングボックス手法と比較して、距離マップ表現を組み込むことで、セグメンテーションのロバスト性がどの程度向上するか？
• RQ3 長方形入力のみでトレーニングされたモデルが、円や自由形状の閉曲線など任意の閉曲線に効果的に一般化できるか？
• RQ4 局所的な色やエッジモデルと比較して、モデルのグローバルな文脈の活用が、セグメンテーション精度をどの程度向上させるか？
• RQ5 CRFベースのラベリング手法は、インスタンスレベルのセマンティックセグメンテーションにおいて、重複する検出をどの程度効果的に解消できるか？

主な発見

• 提案手法は、すべての長方形IOUバケットでベースライン手法よりも高い平均交差率（mIoU）を達成しており、マスクIOUは検出IOUを常に上回っている（例：検出IOUが0.6のとき、マスクIOUは0.7 vs. 0.6）。
• 長方形のジャッタリング（最大±128ピクセル）に対して、ベースライン手法と比較して著しく性能低下が小さく、入力配置に対するロバスト性を示している。
• 再トレーニングなしで任意の閉曲線に効果的に一般化でき、バウンディングボックスでは分離できない部分的なオブジェクト（例：石の半分）の正確な選択が可能である。
• CRFベースのラベリング手法は、重複する検出を効果的に解消し、ラベリングの一貫性を保つことができ、複雑なシーンにおけるナイーブなスコア閾値処理のベースラインを上回っている。
• 可視化結果から、長方形が小さすぎたり大きすぎたりする場合でも、正確で一貫性のあるマスクが生成され、内部にボックスがある場合や画像全体をカバーするボックスのような困難なケースに対しても対応可能である。
• ベンチマークデータセットでも高い性能を維持しており、多様なオブジェクト形状と文脈にわたる強力な一般化能力を示している。