[論文レビュー] Instance Segmentation with Point Supervision

Issam Laradji, Negar Rostamzadeh+3 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Neural Network Applications参考文献 54被引用数 13

ひとこと要約

本論文は、1オブジェクトあたり1点のラベルのみを必要とする弱教師付きインスタンスセグメンテーション手法WISEを提案する。この手法は、オブジェクトの中心位置を予測するロケライゼーションネットワーク（L-Net）と、類似した特徴を持つピクセルをクラスタリングすることでマスクを生成する埋め込みネットワーク（E-Net）からなる二本のブランチから構成される。本手法は、PASCAL VOC、COCO、KITTI、CityScapesの全データセットにおいて、完全教師ありモデルと比較して競争力のある性能を達成し、点ラベルによるインスタンスセグメンテーションの新しい強力なベースラインを確立した。

ABSTRACT

Instance segmentation methods often require costly per-pixel labels. We propose a method that only requires point-level annotations. During training, the model only has access to a single pixel label per object, yet the task is to output full segmentation masks. To address this challenge, we construct a network with two branches: (1) a localization network (L-Net) that predicts the location of each object; and (2) an embedding network (E-Net) that learns an embedding space where pixels of the same object are close. The segmentation masks for the located objects are obtained by grouping pixels with similar embeddings. At training time, while L-Net only requires point-level annotations, E-Net uses pseudo-labels generated by a class-agnostic object proposal method. We evaluate our approach on PASCAL VOC, COCO, KITTI and CityScapes datasets. The experiments show that our method (1) obtains competitive results compared to fully-supervised methods in certain scenarios; (2) outperforms fully- and weakly- supervised methods with a fixed annotation budget; and (3) is a first strong baseline for instance segmentation with point-level supervision.

研究の動機と目的

• 完全教師ありインスタンスセグメンテーションでは、ピクセル単位の密集ラベルが必要なため、高コストであるという問題に取り組む。
• ピクセルラベルに比べて1桁以上速く収集可能な点ラベルを、より効率的な代替手段として検討する。
• 完全マスクをトレーニング時に必要とせず、1オブジェクトあたり1点のラベルのみで、競争力のあるインスタンスセグメンテーション性能を達成する手法を開発する。
• 点ラベルによる弱教師あり設定という、ほとんど未開拓であった分野において、強力なベースラインを確立する。

提案手法

• 本手法は、点ラベルによる監視のもとでオブジェクト中心位置を予測する二本のブランチアーキテクチャを採用する。
• E-Netは、同じオブジェクトに属するピクセルが埋め込み空間内で密にクラスタリングされるように学習し、類似性に基づいてマスクをグループ化する。
• トレーニング段階では、真のマスクが入手不可能なため、クラスに依存しないオブジェクト候補手法によって生成された疑似マスクでE-Netを監視する。
• 推論段階では、L-Netがオブジェクト中心を予測し、E-Netが全ピクセルに埋め込みを割り当て、その後クラスタリングにより最終的なマスクを生成する。
• 最終的なマスクは、局所化と境界精度の向上を目的として、オブジェクト候補手法を用いて精緻化される。
• モデルは、L-Netのためのロケーション損失とE-Netのためのコントラスト型埋め込み損失を組み合わせ、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のラベルが一切不要な状況で、1オブジェクトあたり1点のラベルのみでインスタンスセグメンテーションを効果的に学習できるか。
• RQ2 同じラベルコスト制約下で、点ラベルによる監視で学習したモデルの性能は、完全教師あり手法と比べてどの程度か。
• RQ3 オブジェクト候補から得た疑似マスクを用いた埋め込みベースのアプローチが、競争力のあるインスタンスセグメンテーション結果を達成できるか。
• RQ4 ラベルコストが制限される状況下で、提案手法は既存の弱教師ありベースラインを上回るか。

主な発見

• WISEは、PASCAL VOCおよびCOCOで、固定されたラベルコスト制約下において、完全教師ありおよび弱教師あり手法を上回る競争力のあるインスタンスセグメンテーション性能を達成した。
• KITTIでは、MWCovが74.2、MUCovが58.9を達成し、ベースライン「L-Net + Best Proposal」を著しく上回り、弱教師あり設定における強力なベースラインを確立した。
• CityScapesでは、APが7.8を達成したが、完全教師あり手法に比べて低いものの、この設定における点ラベルによる監視の新しい強力なベースラインを確立した。
• E-Netに真の点ラベルを入力した場合、車両で77.6 mAP、人物で55.4、交通標識で77.8、信号機で80.1を達成し、一部のカテゴリではテスト時にボクセルボックスを用いる手法を上回った。
• アブレーションスタディの結果、最良の候補を単独で使用するよりも、学習された埋め込みを用いることでマスク品質が向上し、埋め込みの価値が裏付けられた。
• 定性的な結果から、WISEは、車両、人物、交通標識など、多様なオブジェクトカテゴリについて、全データセットで正確なマスクを効果的に生成できていることが示された。