[論文レビュー] Object Skeleton Extraction in Natural Images by Fusing Scale-associated Deep Side Outputs

Wei Shen, Kai Zhao+4 more|arXiv (Cornell University)|Mar 31, 2016

Advanced Neural Network Applications参考文献 31被引用数 23

ひとこと要約

本稿では、スケールに応じたサイド出力を備えた完全畳み込みネットワークを提案し、各ネットワーク段階を特定のスケールのスケルトンに関連付けることで、ターゲット監視を用いたマルチスケール特徴学習を活用して自然画像からのオブジェクトスケルトンを抽出する。この手法は、段階間のスケール固有応答を統合し、2つのベンチマークデータセットで最先端の性能を達成し、それぞれSK506/WH-SYMMAXおよびWH-SYMMAX/SK506でFスコアが0.692および0.529を達成した。

ABSTRACT

Object skeleton is a useful cue for object detection, complementary to the object contour, as it provides a structural representation to describe the relationship among object parts. While object skeleton extraction in natural images is a very challenging problem, as it requires the extractor to be able to capture both local and global image context to determine the intrinsic scale of each skeleton pixel. Existing methods rely on per-pixel based multi-scale feature computation, which results in difficult modeling and high time consumption. In this paper, we present a fully convolutional network with multiple scale-associated side outputs to address this problem. By observing the relationship between the receptive field sizes of the sequential stages in the network and the skeleton scales they can capture, we introduce a scale-associated side output to each stage. We impose supervision to different stages by guiding the scale-associated side outputs toward groundtruth skeletons of different scales. The responses of the multiple scale-associated side outputs are then fused in a scale-specific way to localize skeleton pixels with multiple scales effectively. Our method achieves promising results on two skeleton extraction datasets, and significantly outperforms other competitors.

研究の動機と目的

• オブジェクト部分がスケールや構造において多様な複雑な自然画像におけるオブジェクトスケルトン抽出の課題に対処すること。
• ピixe単位のマルチスケール特徴に依存する従来手法が直面する高コストな計算と一般化性能の低さの限界を克服すること。
• 完全畳み込みアーキテクチャ内でのスケールに敏感な特徴学習により、局所的およびグローバルなコンテキストをモデル化することで、正確なスケルトン抽出を可能にすること。
• 抽出されたスケルトンを用いて、対称的部品セグメンテーションやオブジェクトプロポーザル検出などの下流タスクの性能を向上させること。

提案手法

• 複数のスケールに応じたサイド出力を各段階に接続した完全畳み込みネットワーク（FCN）を設計した。
• 各サイド出力は、特定の量子化スケールに対応する真値スケルトンマップにより監視され、その段階の受容 field サイズ未満のスケルトンピクセルのみが保持される。
• 各ネットワーク段階の受容 field サイズは段階的に増加し、これにより異なる固有スケールのスケルトンを捉えることができる。
• 各サイド出力がスケール固有のスコアマップを生成し、スケール固有の方法で統合されて最終的なスケルトン予測が得られる。
• 各サイド出力がスケール固有のスケルトンマップに向けて最適化されるマルチタスク学習戦略を採用し、マルチスケール特徴学習を強化した。
• 最終的なスケルトンマップは、各サイド出力の応答を統合することで得られ、それぞれが関連するスケール範囲に基づいて寄与する。

実験結果

リサーチクエスチョン

• RQ1 スケールに応じたサイド出力を備えた完全畳み込みネットワークは、自然画像におけるマルチスケールスケルトン特徴を効果的にモデル化できるか？
• RQ2 各ネットワーク段階をスケール固有の真値スケルトンで監視することで、スケルトン抽出の精度とロバスト性が向上するか？
• RQ3 提案手法は、ベンチマークデータセットにおける速度と性能の両面で、従来の学習ベースおよび伝統的手法を上回るか？
• RQ4 抽出されたスケルトンは、対称的部品セグメンテーションやオブジェクトプロポーザル検出などの下流タスクをどの程度支援できるか？

主な発見

• SK506/WH-SYMMAXデータセットでは、Fスコア0.692を達成し、次に優れた手法（HED）の0.637を顕著に上回った。
• WH-SYMMAX/SK506ベンチマークでは、Fスコア0.529を達成し、HED（0.492）およびMIL（0.387）を上回った。
• BSDS-Partsデータセットにおける対称的部品セグメンテーションでは、リーの手法およびレヴィンシュタインの手法よりも高い精度再現曲線を達成し、優れた部品局在化を示した。
• スケルトンから得られる部品マスクとEdge Boxesを組み合わせることで、効果的なオブジェクトプロポーザル検出が可能になり、IoUスコアが向上し、より正確なプロポーザルが得られた。
• 各スケルトンピクセルに対してスケールを予測できるネットワークの能力により、ディスクベースの拡張を用いたオブジェクト部品の信頼性の高い再構成が可能となり、定量的信頼スコアで裏付けられた。
• アブレーションスタディにより、スケール固有の監視とマルチステージ統合が性能に不可欠であることが確認され、サイド出力の除去による性能の著しい低下が観察された。