[論文レビュー] Semi-convolutional Operators for Instance Segmentation

David Novotný, Samuel Albanie+2 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Neural Network Applications参考文献 46被引用数 8

ひとこと要約

本論文は、局所的な畳み込み特徴とグローバルな空間的位置情報の組み合わせにより、同一オブジェクトインスタンスを区別できないという標準畳み込みネットワークの限界を克服する半畳み込み型演算子を提案する。この手法によりインスタンスレベルのセグメンテーション精度が向上し、PASCAL VOC 2012 で最先端の性能を達成するとともに、生物画像の解析においても Mask R-CNN より優れた結果を示した。

ABSTRACT

Object detection and instance segmentation are dominated by region-based methods such as Mask RCNN. However, there is a growing interest in reducing these problems to pixel labeling tasks, as the latter could be more efficient, could be integrated seamlessly in image-to-image network architectures as used in many other tasks, and could be more accurate for objects that are not well approximated by bounding boxes. In this paper we show theoretically and empirically that constructing dense pixel embeddings that can separate object instances cannot be easily achieved using convolutional operators. At the same time, we show that simple modifications, which we call semi-convolutional, have a much better chance of succeeding at this task. We use the latter to show a connection to Hough voting as well as to a variant of the bilateral kernel that is spatially steered by a convolutional network. We demonstrate that these operators can also be used to improve approaches such as Mask RCNN, demonstrating better segmentation of complex biological shapes and PASCAL VOC categories than achievable by Mask RCNN alone.

研究の動機と目的

• 標準畳み込みネットワークが並進不変性により、同一のオブジェクトインスタンスを信頼性高く区別できないという限界を解消すること。
• 密なピクセル埋め込みが、インスタンスセグメンテーションタスクにおいてオブジェクトインスタンスを一意に特定できるようにする手法を開発すること。
• Mask R-CNN などの既存アーキテクチャに半畳み込み型演算子を統合し、重なったり、関節部があるような複雑な形状のセグメンテーションを改善すること。
• 半畳み込み特徴がインスタンスレベルのセグメンテーションベンチマークで、標準畳み込み特徴を上回ることを示すこと。

提案手法

• 局所的な畳み込み特徴応答とグローバルな空間座標を組み合わせることで、並進不変性を破る半畳み込み型演算子を提案する。
• 畳み込み特徴マップと空間的位置符号化を加法的混合関数を用いて混合する埋め込み関数を定義する。
• 得られた演算子がハフ投票に類似しており、空間的に制御されたバイリテラルカーネルとして解釈できることを示す。
• 同じインスタンスに属するピクセルが類似した応答を持つように、エンベッディングネットワークをエンドツーエンドで学習させ、インスタンスに依存するピクセルラベル付けを可能にする。
• 標準のマスクヘッドを位置に依存する特徴抽出器に置き換えることで、半畳み込み型埋め込みを Mask R-CNN に統合する。
• 学習された埋め込みを用いてピクセル間の類似度を計算し、その結果をインスタンスに依存するセグメンテーションマスクの精緻化に用いる。

実験結果

リサーチクエスチョン

• RQ1 標準畳み込みネットワークは、密なピクセル埋め込みに基づくインスタンスセグメンテーションにおいて、同一のオブジェクトインスタンスを信頼性高く区別できるか？
• RQ2 畳み込みニューラルネットワークにおける並進不変性をどのように軽減すれば、重なったり繰り返し現れるオブジェクトのための一意なインスタンス埋め込みが可能になるか？
• RQ3 効率的でモジュール性の高い畳み込みニューラルネットワークを保ちつつ、より優れたインスタンス分離を実現できる半畳み込み型演算子を設計できるか？
• RQ4 半畳み込み特徴は、PASCAL VOC や生物画像データセットといった困難なベンチマークで、どの程度インスタンスセグメンテーションの性能を向上させられるか？

主な発見

• 半畳み込み埋め込みにより、PASCAL VOC 2012 におけるインスタンスセグメンテーションのAPが 0.412 に向上し、Mask R-CNN の 0.401 を上回った。
• C. elegans データセットでは、AP が 0.569 を達成し、Mask R-CNN のベースラインである 0.559 を上回った。
• 特に高いIoU閾値（例：AP@0.75: 0.511 対 0.502）で改善が顕著で、境界の正確性が向上していることが示された。
• PASCAL VOC 2012 では、平均APrが 69.9 と最先端の性能を達成した。これは、Mask R-CNN の 69.0 よりも優れている。
• 半畳み込み型演算子により、重なりや関節部がある複雑な生物学的形状のセグメンテーションが向上した。
• 本手法は Mask R-CNN と互換性があり、RPN や検出ヘッドを変更せずにマルチステージトレーニング戦略により統合可能である。