[論文レビュー] Boundary-aware Instance Segmentation

Zeeshan Hayder, Xuming He+1 more|arXiv (Cornell University)|Dec 9, 2016

Advanced Neural Network Applications参考文献 31被引用数 9

ひとこと要約

本論文は、物体提案バウンディングボックスの範囲を超えてマスクを予測できる距離変換ベースの表現を用いた境界に配慮したインスタンスセグメンテーション手法を提案する。この手法により、不正確な提案に対するロバスト性が向上する。オブジェクトマスクネットワーク（OMN）は、残差・デコンボリューションアーキテクチャを採用し、切断された距離マップを正確なバイナリマスクに復元する。PASCAL VOC 2012 および Cityscapes において最先端の性能を達成しており、特に高いIoU閾値での性能が顕著である。

ABSTRACT

We address the problem of instance-level semantic segmentation, which aims at jointly detecting, segmenting and classifying every individual object in an image. In this context, existing methods typically propose candidate objects, usually as bounding boxes, and directly predict a binary mask within each such proposal. As a consequence, they cannot recover from errors in the object candidate generation process, such as too small or shifted boxes. In this paper, we introduce a novel object segment representation based on the distance transform of the object masks. We then design an object mask network (OMN) with a new residual-deconvolution architecture that infers such a representation and decodes it into the final binary object mask. This allows us to predict masks that go beyond the scope of the bounding boxes and are thus robust to inaccurate object candidates. We integrate our OMN into a Multitask Network Cascade framework, and learn the resulting boundary-aware instance segmentation (BAIS) network in an end-to-end manner. Our experiments on the PASCAL VOC 2012 and the Cityscapes datasets demonstrate the benefits of our approach, which outperforms the state-of-the-art in both object proposal generation and instance segmentation.

研究の動機と目的

• 物体提案生成の誤差（ずれや小さすぎるバウンディングボックスなど）に敏感なインスタンスセグメンテーション手法の課題を解決すること。
• 初期の提案の空間的範囲に制約されないマスク予測メカニズムの開発。
• 境界に配慮した表現を活用し、完全に微分可能でエンドツーエンドで学習可能なネットワークの設計。
• 提案手法をインスタンスセグメンテーションおよび物体提案生成の両タスクで評価し、その汎用性と優位性を示すこと。

提案手法

• 各オブジェクトセグメントを、提案ボックス内の各ピクセルからオブジェクト境界までの最小距離を切断された形で符号化した多値マップとして表現する。
• 切断された距離値を離散化し、各ピクセルに対してバイナリーベクトルとして符号化することで、問題をピクセル単位のラベル付けタスクに変換する。
• 各ビットの確率マップを予測するための残差・デコンボリューションネットワークを用い、空間的なアップサンプリングとマスク再構築を可能にする。
• 予測された距離マップに対して逆距離変換を適用し、元のバウンディングボックスを越えて拡張可能な最終的なバイナリマスクを生成する。
• マルチタスクネットワークカスケードフレームワークにオブジェクトマスクネットワーク（OMN）を統合し、インスタンスレベルのセマンティックセグメンテーションのエンドツーエンド学習を可能にする。
• 提案生成のための再ランクスコア関数を学習し、ベースラインと公平に比較する。元のRPNスコアは、ボックスを越えて拡張するマスクには不適切であるため。

実験結果

リサーチクエスチョン

• RQ1 距離変換ベースの表現は、不正確な物体提案に対するインスタンスセグメンテーションのロバスト性を向上させ得るか？
• RQ2 残差・デコンボリューションアーキテクチャは、切断された距離マップから正確なマスクを復元可能であり、かつ提案ボックスの外側への予測を可能にするか？
• RQ3 提案されたオブジェクトマスクネットワーク（OMN）は、最先端の手法と同等の高品質なセグメンテーション提案を生成できるか？
• RQ4 境界に配慮したインスタンスセグメンテーション（BAIS）フレームワークは、PASCAL VOC 2012 や Cityscapes といった挑戦的なベンチマークで、既存手法を上回る性能を示すか？

主な発見

• PASCAL VOC 2012 では、提案されたBAISフレームワークが最先端の性能を達成しており、特に高いIoU閾値での性能が顕著で、正確なセグメンテーションの分野で既存手法を上回っている。
• OMNは、PASCAL VOC 2012 でAR@10が47.8、AR@100が51.8を達成し、最良のベースライン（MNC+score）をそれぞれ2.1点および2.7点上回っている。
• Cityscapesでは、複数の重なったオブジェクトを含む複雑なシーンにおいても、正確で詳細なインスタンスレベルのセグメンテーションを生成している。
• 10または100の提案を使用する実用的なインスタンスセグメンテーションパイプラインにおいて、高いIoU閾値での性能ですべてのベースラインを上回っている。
• 失敗事例は、通常、1つのインスタンスが複数のセグメントに分割されるものであり、密接に接近または重なったオブジェクトの処理における課題を示している。
• アブレーションスタディの結果、ボックス外へのマスク拡張を許容することで性能が向上することが確認され、予測をボックス内に制限するベースラインモデルは、提案手法に比べて性能が劣っている。