[論文レビュー] Pointly-Supervised Instance Segmentation

Bowen Cheng, Omkar Parkhi+1 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Neural Network Applications参考文献 59被引用数 4

ひとこと要約

本論文は、オブジェクトのバウンディングボックス内で10個のランダムな点を前景または背景としてラベル付けることで、インスタンスセグメンテーションのシンプルなポイントベース弱教師付きスキームを提案する。驚くべきことに、1オブジェクトあたり10ポイントのラベルのみでトレーニングされたMask R-CNNは、COCO、PASCAL VOC、Cityscapes、LVISで完全教師あり性能の94%〜98%を達成しており、マスク全体のラベリングに比べてラベリング時間が約5倍速い。著者らはさらに、ポイント座標と特徴量から直接マスク予測を生成する簡素化されたアーキテクチャであるImplicit PointRendを導入し、ポイントレベルの損失1つで強力な性能を達成した。

ABSTRACT

We propose an embarrassingly simple point annotation scheme to collect weak supervision for instance segmentation. In addition to bounding boxes, we collect binary labels for a set of points uniformly sampled inside each bounding box. We show that the existing instance segmentation models developed for full mask supervision can be seamlessly trained with point-based supervision collected via our scheme. Remarkably, Mask R-CNN trained on COCO, PASCAL VOC, Cityscapes, and LVIS with only 10 annotated random points per object achieves 94%--98% of its fully-supervised performance, setting a strong baseline for weakly-supervised instance segmentation. The new point annotation scheme is approximately 5 times faster than annotating full object masks, making high-quality instance segmentation more accessible in practice. Inspired by the point-based annotation form, we propose a modification to PointRend instance segmentation module. For each object, the new architecture, called Implicit PointRend, generates parameters for a function that makes the final point-level mask prediction. Implicit PointRend is more straightforward and uses a single point-level mask loss. Our experiments show that the new module is more suitable for the point-based supervision.

研究の動機と目的

• ラベル付け時間の短縮を実現しつつモデル性能を損なわせない、実用的で効率的なインスタンスセグメンテーションの弱教師付きスキームの開発。
• 1オブジェクトあたり少数のポイントラベル（10ポイント）が、Mask R-CNNなどの最先端インスタンスセグメンテーションモデルを効果的に教師可能であることを示すこと。
• PointRendなどの既存アーキテクチャよりも複雑な部品（粗いマスク予測や重要度サンプリング）を排除し、ポイントベースの教師付き学習に特化して最適化された新しいインスタンスセグメンテーションモジュール、Implicit PointRendの設計。
• COCO、PASCAL VOC、LVIS、Cityscapesといった多様なデータセットにおいて、現実的なラベル付け時間制約のもとでポイントベースの教師付き学習の性能を評価すること。

提案手法

• 各オブジェクトのバウンディングボックス内から10個のランダムなポイントを抽出し、前景または背景としてラベル付ける弱教師付きスキームを提案。これにより、人的作業の負荷を最小限に抑えた弱教師付き学習を実現。
• 既存のインスタンスセグメンテーションモデル（例：Mask R-CNN、PointRend、CondInst）を、ポイントレベルの教師付き学習に適応。ポイント座標での補間により、ラベルが付与されたポイント位置でのみマスク損失を計算。
• ポイント座標と画像レベル特徴量をパラメータとする学習可能な関数によってマスク予測を生成する新アーキテクチャ、Implicit PointRendを導入。粗いマスク予測や重要度サンプリングの必要性を排除。
• オブジェクトボックス内での相対的なポイント座標を表現するために位置エンコーディングを用い、追加の教師信号なしに空間認識能力と性能向上を実現。
• トレーニング中にポイントレベルのマスク損失を1つだけ使用することで、パイプラインを単純化し、ポイントベースの教師付き学習との互換性を向上。
• ポイントベースのデータオーグメンテーションと自己学習を適用し、弱教師ありと完全教師ありの性能差をさらに縮小。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトのバウンディングボックス内からランダムに抽出した少数のポイント（10ポイント）をラベル付けることで、インスタンスセグメンテーションモデルに対する有効な弱教師付き信号として機能するか？
• RQ2 1オブジェクトあたり10ポイントのラベルのみでトレーニングされたMask R-CNNが、大規模データセットにおいて完全教師あり学習の性能にどの程度近づけるか？
• RQ3 PointRendのような既存アーキテクチャよりも単純かつ効率的な、ポイントベースの教師付き学習に特化した新しいインスタンスセグメンテーションモジュールを設計可能か？
• RQ4 COCO、PASCAL VOC、LVIS、Cityscapesといった多様なデータセットにおいて、ポイントベースの教師付き学習の性能はどの程度か？

主な発見

• 1オブジェクトあたり10ポイントのラベルのみでトレーニングされたMask R-CNNは、COCO、PASCAL VOC、Cityscapes、LVISで完全教師あり性能の94%〜98%を達成し、データセット間での一般化性能が顕著に高いことが示された。
• 提案されたポイントラベリングスキームにより、ポリゴンベースのマスクラベリングに比べてラベリング時間が約5倍速くなり、1オブジェクトあたり16秒（バウンディングボックス作成7秒 + 10ポイントラベリング9秒）で完了した。
• Implicit PointRendは、ポイントベースの教師付き学習下で標準的なPointRendを上回り、完全マスクラベリング下でもその性能を同等に維持した。これは、粗いマスク予測や重要度サンプリングを排除したシンプルなアーキテクチャでも高い性能が達成可能であることを示している。
• 相対座標エンコーディングと画像レベル特徴量（例：FPN p2）を追加することで、Implicit PointRendの性能が最大1.7 AP向上した。位置エンコーディング単体でも十分なベースライン性能を達成した。
• ResNet-50バックボーンと3倍の学習率スケジューリングを用いた完全マスクラベリング下で、COCOで38.5 APを達成し、CondInstを上回り、PointRendの性能に近づいた。
• 自己学習とポイントベースのデータオーグメンテーションにより、弱教師ありと完全教師ありの性能差がさらに縮小され、限られたラベルで実運用可能な強力なポentialを示した。