[論文レビュー] Instance Segmentation by Deep Coloring

V. A. Kulikov, Victor Yurchenko+1 more|arXiv (Cornell University)|Jul 26, 2018

Industrial Vision Systems and Defect Detection参考文献 30被引用数 29

ひとこと要約

本稿では、畳み込みネットワークを用いて画素を固定された色ラベルの集合に割り当てることで、インスタンスセグメンテーションをセマンティックセグメンテーションに還元する新規手法「Deep Coloring」を提案する。トレーニング段階では、隣接する物体が異なる色を受けるように保証しつつ、セグメンテーション損失を最小化するようにインスタンスを動的に色分けする。推論段階では、連結成分解析により個々のインスタンスを回復する。本手法は、標準的なセマンティックセグメンテーションアーキテクチャを用いて、Cityscapes、CVPPP、E. coli顕微鏡画像データセットで競争力ある性能を達成する。

ABSTRACT

We propose a new and, arguably, a very simple reduction of instance segmentation to semantic segmentation. This reduction allows to train feed-forward non-recurrent deep instance segmentation systems in an end-to-end fashion using architectures that have been proposed for semantic segmentation. Our approach proceeds by introducing a fixed number of labels (colors) and then dynamically assigning object instances to those labels during training (coloring). A standard semantic segmentation objective is then used to train a network that can color previously unseen images. At test time, individual object instances can be recovered from the output of the trained convolutional network using simple connected component analysis. In the experimental validation, the coloring approach is shown to be capable of solving diverse instance segmentation tasks arising in autonomous driving (the Cityscapes benchmark), plant phenotyping (the CVPPP leaf segmentation challenge), and high-throughput microscopy image analysis. The source code is publicly available: https://github.com/kulikovv/DeepColoring.

研究の動機と目的

• 従来の手法よりも単純かつ高速なエンドツーエンドのフォワードパス型インスタンスセグメンテーションモデルの学習の課題に対処する。
• 畳み込みネットワークにおける一貫したインスタンス順序の欠如を、トレーニング段階で動的色分け機構を導入することで克服する。
• U-Net や PSPNet などの標準的なセマンティックセグメンテーションアーキテクチャを、単純な還元によりインスタンスセグメンテーションに応用可能にする。
• アーキテクチャの複雑さや再帰的構造を一切用いずに、多様なインスタンスセグメンテーションベンチマークで高い性能を達成する。

提案手法

• オブジェクトインスタンスを表すために固定数の出力チャネル（色）をセマンティックセグメンテーションネットワークに使用する。
• 隣接するインスタンスが異なる色を受けるように保証しつつ、セグメンテーション損失を最小化するルールに従い、トレーニング段階でインスタンスに色を動的に割り当てる。
• 空間的に隣接する異なるインスタンスの画素が異なる色ラベルを持つように促進する、グラフ色分けにインspiredした損失関数を適用する。
• 画素単位のソフトマックス出力に対して標準的なクロスエントロピー損失を用いて、ネットワークをエンドツーエンドで学習する。
• 推論段階では、予測された色マップに対して連結成分解析を適用し、個々のインスタンスを回復する。
• ファージョン戦略：推論時にセマンティックヘッドを微調整しない事前学習済みのPSPNetに置き換えることで、再学習なしに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定された色ラベルの集合を用いて、インスタンスセグメンテーションをセマンティックセグメンテーションに効果的に還元できるか？
• RQ2 トレーニング段階での動的・即時の色分けにより、明示的なインスタンスラベルの監視なしに、推論段階で正確なインスタンス回復が可能か？
• RQ3 本手法は、標準的なセマンティックセグメンテーションアーキテクチャを用いて、多様なインスタンスセグメンテーションベンチマークで競争力ある性能を達成できるか？
• RQ4 自動運転、植物形態解析、顕微鏡画像分野など、異なるドメインに一般化可能か？
• RQ5 mAPおよびmIoUの観点から、最先端のインスタンスセグメンテーションモデルと比較して、本手法の性能はどの程度か？

主な発見

• U-Netバックボーンを用いたDeep Coloring手法は、CityscapesテストセットでmAP 25.2を達成し、多数の先行手法を上回る性能を示した。
• 事前学習済みのPSPNetセマンティックヘッドと統合した場合、CityscapesでmAP 25.2を達成し、アーキテクチャの変更を最小限に抑えつつ優れた性能を示した。
• CVPPPリーフセグメンテーションチャレンジにおいて、密に詰められたリーフを効果的にセグメンテーションでき、小サイズのオブジェクトが多数存在するシーンでも良好な結果を得た。
• 本手法はハイアウトレットな顕微鏡画像処理にも良好に一般化でき、多数のインスタンス（例：E. coliデータセット）を効果的に処理できた。
• 本手法は、標準的なセマンティックセグメンテーションアーキテクチャとエンドツーエンド学習のみを用いて、3つのベンチマークすべてで競争力ある性能を達成した。
• アブレーションスタディの結果、バックボーン容量を共有するにもかかわらず、二段階ヘッド構造（色分け + セマンティックヘッド）を用いることで、単一ヘッドのセマンティックセグメンテーションモデルに比べてインスタンスセグメンテーションのmAPが向上した。