[論文レビュー] Proposal-free Network for Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei+4 more|arXiv (Cornell University)|Sep 9, 2015

Advanced Neural Network Applications参考文献 17被引用数 105

ひとこと要約

本稿では、領域提案を必要としないインスタンスレベルのオブジェクトセグメンテーションのための提案フリーなネットワーク（PFN）を提案する。PFNは、各画素に対して直接インスタンスの位置とカテゴリ数を予測し、領域提案の生成を伴わないエンド・ツー・エンドの学習を可能にする。類似した予測されたインスタンス位置を持つ画素をクラスタリングすることで、PASCAL VOC 2012で0.5 IoUにおける58.7%のAP^rを達成し、従来の最先端手法を顕著に上回る性能を発揮する。

ABSTRACT

Instance-level object segmentation is an important yet under-explored task. The few existing studies are almost all based on region proposal methods to extract candidate segments and then utilize object classification to produce final results. Nonetheless, generating accurate region proposals itself is quite challenging. In this work, we propose a Proposal-Free Network (PFN ) to address the instance-level object segmentation problem, which outputs the instance numbers of different categories and the pixel-level information on 1) the coordinates of the instance bounding box each pixel belongs to, and 2) the confidences of different categories for each pixel, based on pixel-to-pixel deep convolutional neural network. All the outputs together, by using any off-the-shelf clustering method for simple post-processing, can naturally generate the ultimate instance-level object segmentation results. The whole PFN can be easily trained in an end-to-end way without the requirement of a proposal generation stage. Extensive evaluations on the challenging PASCAL VOC 2012 semantic segmentation benchmark demonstrate that the proposed PFN solution well beats the state-of-the-arts for instance-level object segmentation. In particular, the $AP^r$ over 20 classes at 0.5 IoU reaches 58.7% by PFN, significantly higher than 43.8% and 46.3% by the state-of-the-art algorithms, SDS [9] and [16], respectively.

研究の動機と目的

• 領域提案手法に依存しないインスタンスレベルのオブジェクトセグメンテーションの課題に取り組むこと。
• 複雑な前処理および後処理ステージを排除することで、セグメンテーションパイプラインを単純化すること。
• ピクセル単位の深層畳み込み特徴量のみを用いてエンド・ツー・エンドの学習を可能にすること。
• 遮蔽・ごみだらけの複雑なシーンにおいて、通常は失敗しやすい領域提案ベースの手法に比べて性能を向上させること。

提案手法

• ネットワークは、各画素に対して、それが属するインスタンスのバウンディングボックスの座標と、各カテゴリの信頼度スコアを予測する。
• 推論時にクラスタリングをガイドするため、カテゴリごとのインスタンス数を出力する。
• ピクセル単位のインスタンス位置予測は、市販のスペクトルクラスタリングを用いてクラスタリングされ、オブジェクトインスタンスマスクが形成される。
• カテゴリ分類とインスタンス位置回帰の両方を組み合わせたマルチタスク損失を用いて、エンド・ツー・エンドでモデルを学習する。
• 領域提案の生成を回避することで、計算コストを低減し、パイプラインを簡素化する。
• 特に遮蔽やごみだらけのシーンにおいて、局所的でないグローバルなコンテキストを活用することで、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高精度を維持しつつ、領域提案の生成を伴わないインスタンスレベルのオブジェクトセグメンテーションは可能か？
• RQ2 ピクセル単位の予測に基づくエンド・ツー・エンドの学習は、段階的な提案ベースのパイプラインと比べてどのように異なるか？
• RQ3 正確なピクセル単位のインスタンス位置予測が、最終的なセグメンテーション性能にどの程度影響を与えるか？
• RQ4 スペクトルクラスタリングのような単純な後処理が、予測された位置から効果的にインスタンスマスクを回復できるか？
• RQ5 重度の遮蔽や小さなオブジェクトインスタンスのような困難なケースにおいて、この手法はどの程度の性能を示すか？

主な発見

• PFNはPASCAL VOC 2012で0.5 IoUにおける58.7%のAP^rを達成し、以前の最先端手法であるSDS（43.8%）および[16]（46.3%）を上回った。
• アブレーションスタディの結果、正例のインスタンス位置（64.7%）を用いた上限性能との間には顕著な性能差が確認され、正確なインスタンス位置予測が極めて重要であることが裏付けられた。
• 遮蔽が強く、背景がごみだらけで、オブジェクトの外観が多様な複雑なシーンでも良好な性能を発揮した。
• 可視化結果から、PFNが遮蔽されたオブジェクトや小さなオブジェクトインスタンスを効果的に区別してセグメンテーションできていることが確認された。
• 失敗事例は主に極度に遮蔽された、または非常に小さなオブジェクトインスタンスで観察されたため、こうした状況での改善の余地があることが示された。
• 領域提案や複雑な後処理が不要なため、提案ベースの手法よりも計算効率が高く、より単純なフレームワークを実現している。