[論文レビュー] Object cosegmentation using deep Siamese network

Prerana Mukherjee, Brejesh Lall+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Neural Network Applications参考文献 24被引用数 18

ひとこと要約

本稿では、オブジェクト候補間の深層特徴類似度を学習するためのシアンズネットを用いて、対象オブジェクトの共通セグメンテーションをクラスタリング問題として定式化することで、エンドツーエンドのディーブラーニングフレームワークを提案する。本手法は、iCosegおよびMSRCデータセットにおいて最先端の性能を達成し、MCGベースの候補を用いるとJaccard類似度が0.66、mAPが0.84を記録する。また、学習された類似度スコアに基づいて視覚的まとめを生成する。

ABSTRACT

Object cosegmentation addresses the problem of discovering similar objects from multiple images and segmenting them as foreground simultaneously. In this paper, we propose a novel end-to-end pipeline to segment the similar objects simultaneously from relevant set of images using supervised learning via deep-learning framework. We experiment with multiple set of object proposal generation techniques and perform extensive numerical evaluations by training the Siamese network with generated object proposals. Similar objects proposals for the test images are retrieved using the ANNOY (Approximate Nearest Neighbor) library and deep semantic segmentation is performed on them. Finally, we form a collage from the segmented similar objects based on the relative importance of the objects.

研究の動機と目的

• 複数の画像にまたがる類似オブジェクトを、事前にフォアグラウンドオブジェクトの知識なしにセグメンテーションする課題に対処すること。
• 共通性の事前知識と画像の共同処理を活用し、クラス内変動やノイズに強いセグメンテーションを向上させること。
• 類似度学習のためのシアンズネットとセマンティックセグメンテーションのための完全畳み込みネットワーク（FCN）を統合したエンドツーエンドパイプラインを開発すること。
• 相対的な類似度と重要度に基づいて、共セグメンテーションされたオブジェクトの視覚的まとめを生成すること。

提案手法

• 同一の重みを持つシアンズネットを、対となるオブジェクト候補を用いてコントラスト型損失関数で学習させ、判別的な深層特徴を学習する。
• コントラスト型損失は、同じオブジェクトクラスに属するパッチ（類似）が埋め込み空間内で近づくように保証し、異なるパッチ（非類似）は遠ざかるようにする。
• オブジェクト候補は複数の手法（EdgeBoxes、Selective Search、MCG、顕著プロポーザル）を用いて生成され、訓練済みのシアンズネットに供給され、256次元の特徴ベクトルが抽出される。
• 類似度検索は、特徴空間におけるユークリッド距離に基づき、ANNOYライブラリを用いてテスト画像間で最近傍候補を検索する。
• 取得した類似候補に対して、完全畳み込みネットワーク（FCN）を用いてセマンティックセグメンテーションを適用し、ピクセル単位のセグメンテーションを実現する。
• 最も類似したオブジェクトを中央に配置し、相対的な距離を保持するように、合成背景を用いて視覚的整合性を保った視覚的コラージュを構築する。

実験結果

リサーチクエスチョン

• RQ1 シアンズネットは、オブジェクト共セグメンテーションのための共通性事前知識を符号化する深層特徴表現を効果的に学習できるか？
• RQ2 オブジェクト候補生成手法の選択が、共セグメンテーションパイプラインの性能にどのように影響するか？
• RQ3 本手法は、微調整なしに事前学習済み特徴のみを用いて、未学習のオブジェクトクラスに一般化可能か？
• RQ4 視覚的コラージュ生成は、共セグメンテーションオブジェクトの相対的な類似度と重要度を効果的に反映しているか？

主な発見

• MCGベースの候補を用い、70%のデータで学習し100%のデータでテストした場合、MSRCデータセットでJaccard類似度0.66、mAP 0.84を達成した。
• iCosegデータセットでは、80%のデータで学習し100%のデータでテストした場合、MCG候補を用いてJaccard類似度0.654、mAP 0.81を達成した。
• Pascalや動物などの非ターゲットクラスで学習したシアンズネットは、iCoseg や MSRC などのターゲットクラスに最小限の微調整で良好に一般化され、強力なゼロショット一般化を示した。
• MCGベースのオブジェクト候補が両データセットで最も優れた性能を示し、EdgeBoxes や Selective Search、および明著性ベースの候補を上回った。
• 視覚的コラージュ生成は類似度の階層を効果的に反映しており、最も類似度の高いオブジェクトが中央に配置され、視覚的に整合性のある配置が実現された。
• 特徴抽出の推論時間は1画像あたり100ms未満であり、リアルタイムアプリケーションに適した効率性を有していた。