[論文レビュー] Deep Watershed Transform for Instance Segmentation

Min Bai, Raquel Urtasun|arXiv (Cornell University)|Nov 24, 2016

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 36

ひとこと要約

本論文は、オブジェクトインスタンスが別々のエネルギー谷に対応する構造的エナジー・マップを学習することで、ウォーターシェド変換を活用する、新規のエンド・ツー・エンドのディーブ・コンvolutionニューラルネットワークを提案する。1つのエネルギー・レベルでのカットを適用することで、複雑な後処理を経ずにインスタンスセグメンテーションを直接抽出でき、従来の最先端手法と比較して、Cityscapesベンチマークにおけるインスタンスセグメンテーション性能が200%以上向上した。

ABSTRACT

Most contemporary approaches to instance segmentation use complex pipelines involving conditional random fields, recurrent neural networks, object proposals, or template matching schemes. In our paper, we present a simple yet powerful end-to-end convolutional neural network to tackle this task. Our approach combines intuitions from the classical watershed transform and modern deep learning to produce an energy map of the image where object instances are unambiguously represented as basins in the energy map. We then perform a cut at a single energy level to directly yield connected components corresponding to object instances. Our model more than doubles the performance of the state-of-the-art on the challenging Cityscapes Instance Level Segmentation task.

研究の動機と目的

• RNN、CRF、またはオブジェクト候補を含む複雑なパイプラインを回避する、シンプルでエンド・ツー・エンドのディープラーニング手法を、インスタンスセグメンテーション用に開発すること。
• 古典的なウォーターシェド変換の原則を現代のディープラーニングと統合し、学習されたエナジーランドスケープを通じて、明確なインスタンスセグメンテーションを実現すること。
• 挑戦的なCityscapesインスタンスセグメンテーションベンチマークで最先端の性能を達成すること。
• 反復的手法（例：RNN）の代わりに、単一のレベルカット操作を用いることで、高速で定数時間の推論を実現すること。

提案手法

• 本手法は、2段階のネットワークを用いてディープなエナジー・マップを学習する：勾配方向を予測するための方向ネットワーク（DN）と、エネルギー値を予測するウォーターシェッド変換ネットワーク（WTN）。
• エナジー・マップは、各オブジェクトインスタンスが明確な谷として形成され、すべての分離リッジが同じエネルギー水準にあるように設計されており、1つのしきい値カットによって直接インスタンス抽出が可能である。
• 正しい勾配方向とエネルギー水準の一貫性を強制する新しい損失関数を用いて、合成データセット上で事前学習を行う。
• エナジー・マップにおけるL1損失と、正しいインスタンス境界形成を促進するカスタム損失の組み合わせを用いて、エンド・ツー・エンドのファインチューニングを実施する。
• セマンティックセグメンテーションを、インスタンス予測をガイドするソフトゲートとして用い、PSPNet や LRR をセマンティックバックボーンとして使用する。
• インスタンスの信頼性スコアは、セマンティックセグメンテーションのソフトマックス確率を用いて推定され、AP計算のための予測順位付けに使用される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、ウォーターシェッド原理を介して、インスタンス境界を直接符号化する構造的エナジー・ランドスケープを効果的に学習できるか？
• RQ2 古典的な形態的グループ化とディープ特徴を組み合わせることで、複雑なパイプラインベースの手法と比較して、優れたインスタンスセグメンテーション性能が得られるか？
• RQ3 反復的または候補ベースの精練戦略に代わって、単一のエネルギー・レベルカットが、高い正確性と高速な推論を維持しながら置き換え可能か？
• RQ4 セマンティックセグメンテーションの品質が、本手法の最終的なインスタンスセグメンテーション性能に与える影響は何か？

主な発見

• 提案手法は、Cityscapesインスタンスセグメンテーションベンチマークにおいて、従来の最先端手法の2倍以上も高い性能を達成した。
• RNN、CRF、またはオブジェクト候補を含む複雑なパイプラインと比較して、顕著な性能向上を示し、エンド・ツー・エンドのウォーターシェッドベースのアプローチの有効性を裏付けた。
• アブレーションスタディの結果、中間の訓練ターゲット（方向予測）が有効であることが示され、ファインチューニング後のDNが強い方向一貫性を維持していた。
• より良いセマンティックセグメンテーション（例：PSPNetの代わりにLRR）を用いることで、インスタンスセグメンテーション性能が向上した。これは、セマンティック品質に強く依存していることを示唆している。
• オラクルIoUを用いた信頼性スコアの順位付けにより、性能が6.34%向上した。これは、実際のインスタンス品質に変化がないにもかかわらず、順位付けの影響がAPスコアに与える影響の大きさを示している。
• 失敗事例には、遮蔽によるオブジェクトの二分離や、複雑なシーンにおける過剰セグメンテーションが含まれ、トップダウンの推論統合の必要性を示唆している。