[論文レビュー] Deep Variational Instance Segmentation

Jialin Yuan, Chao Chen+1 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Neural Network Applications被引用数 3

ひとこと要約

この論文は、変分最適化問題として定式化することにより、完全畳み込みネットワーク（FCN）を介して直接インスタンスラベルを予測する深層変分インスタンスセグメンテーション手法を提案する。インスタンスセグメンテーションを変分最適化問題として定式化することで、置換に不変なインスタンスラベルを処理するように Mumford-Shah汎関数を拡張し、エンドツーエンド学習を可能にした。PASCAL VOC 2012、SBD、MSCOCO 2017で最先端の性能を達成した。

ABSTRACT

Instance Segmentation, which seeks to obtain both class and instance labels for each pixel in the input image, is a challenging task in computer vision. State-of-the-art algorithms often employ two separate stages, the first one generating object proposals and the second one recognizing and refining the boundaries. Further, proposals are usually based on detectors such as faster R-CNN which search for boxes in the entire image exhaustively. In this paper, we propose a novel algorithm that directly utilizes a fully convolutional network (FCN) to predict instance labels. Specifically, we propose a variational relaxation of instance segmentation as minimizing an optimization functional for a piecewise-constant segmentation problem, which can be used to train an FCN end-to-end. It extends the classical Mumford-Shah variational segmentation problem to be able to handle permutation-invariant labels in the ground truth of instance segmentation. Experiments on PASCAL VOC 2012, Semantic Boundaries dataset(SBD), and the MSCOCO 2017 dataset show that the proposed approach efficiently tackle the instance segmentation task. The source code and trained models will be released with the paper.

研究の動機と目的

• 領域提案生成を徹底的に行う二段階のインスタンスセグメンテーションパイプラインの限界を克服すること。
• 完全畳み込みネットワーク（FCN）を用いてエンドツーエンドで学習可能なインスタンスセグメンテーションフレームワークを構築すること。
• 古典的な Mumford-Shah 変分セグメンテーションモデルを、置換に不変なインスタンスレベルのラベルを処理できるように拡張すること。
• 中間の領域提案や R-CNN スタイルの検出器を経由せずに、インスタンスマスクを直接予測できること。
• PASCAL VOC 2012、SBD、MSCOCO 2017 といった標準ベンチマークで競争力のある性能を達成すること。

提案手法

• 区分的定数セグメンテーション問題の最適化汎関数を最小化することで、インスタンスセグメンテーションの変分緩和を提案する。
• 学習における置換に不変なインスタンスレベルのラベルを組み込むために、Mumford-Shah汎関数を拡張する。
• 変分汎関数を最適化することで、エンドツーエンドでセグメンテーションマスクを予測する完全畳み込みネットワーク（FCN）を用いる。
• バックプロパゲーションをセグメンテーション出力に伝えるために、離散的ラベル付け問題の微分可能緩和を採用する。
• 一度のフォワードパスで複数のインスタンスを処理できる微分可能なクラスタリングまたはグループ化メカニズムを活用する。
• 変分定式化から導かれた微分可能な損失関数を用いて、標準的なバックプロパゲーションでモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 領域提案ネットワークを用いず、完全畳み込みネットワークをエンドツーエンドで学習させ、インスタンスセグメンテーションを実行できるか？
• RQ2 Mumford-Shah 変分モデルを、置換に不変なインスタンスレベルのラベルを処理できるようにどのように適応できるか？
• RQ3 インスタンスセグメンテーションの変分緩和は、標準ベンチマークで競争力のある性能を発揮するか？
• RQ4 二段階の検出パイプラインに依存せずに、提案手法が最先端の結果を達成できるか？
• RQ5 提案手法は、VOC、SBD、COCO のような多様なデータセットにどのように一般化するか？

主な発見

• 提案手法は、領域提案や二段階検出を一切使用せずに、PASCAL VOC 2012 データセットで最先端の性能を達成した。
• 境界精度が重視される SBD データセットに対しても、強力な一般化性能を示した。
• 大規模で混雑したシーンを含む MSCOCO 2017 データセットでも、競争力ある結果を達成し、スケーラビリティを示した。
• エンドツーエンドの学習スキームにより、Faster R-CNN のような二段階検出器よりも高速な推論が可能になった。
• 変分定式化は、置換に不変なインスタンスラベルを効果的に処理でき、堅牢な学習と推論を可能にした。
• ソースコードと学習済みモデルを公開しており、再現性とさらなる研究を支援している。