[論文レビュー] Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images

Xinggang Wang, Jiapei Feng+5 more|arXiv (Cornell University)|Apr 4, 2021

Advanced Neural Network Applications参考文献 57被引用数 7

ひとこと要約

本論文は、ボクシングボックスアノテーションのみを用いて、クラスに依存しない顕著オブジェクト検出を補助記憶として活用することで、弱教師ありインスタンスセグメンテーションの性能を向上させるBoxCasegを提案する。7,991枚の顕著画像とボックスアノテーション付き画像を同時に学習し、マージおよびドロップ戦略による予測の最適化を行うことで、PASCAL VOCでは完全教師ありMask R-CNNと同等の性能を達成し、COCOでは先行する最良手法を上回る結果を得た。

ABSTRACT

Humans have a strong class-agnostic object segmentation ability and can outline boundaries of unknown objects precisely, which motivates us to propose a box-supervised class-agnostic object segmentation (BoxCaseg) based solution for weakly-supervised instance segmentation. The BoxCaseg model is jointly trained using box-supervised images and salient images in a multi-task learning manner. The fine-annotated salient images provide class-agnostic and precise object localization guidance for box-supervised images. The object masks predicted by a pretrained BoxCaseg model are refined via a novel merged and dropped strategy as proxy ground truth to train a Mask R-CNN for weakly-supervised instance segmentation. Only using $7991$ salient images, the weakly-supervised Mask R-CNN is on par with fully-supervised Mask R-CNN on PASCAL VOC and significantly outperforms previous state-of-the-art box-supervised instance segmentation methods on COCO. The source code, pretrained models and datasets are available at \url{https://github.com/hustvl/BoxCaseg}.

研究の動機と目的

• ピクセルレベルのマスクではなく、ボクシングボックスと顕著画像アノテーションのみを用いることで、インスタンスセグメンテーションのアノテーションコストを低減すること。
• トレーニング中に顕著画像を補助記憶として用いることで、人間のクラスに依存しないオブジェクトセグメンテーションに類似した性能を実現すること。
• マージおよびドロップ戦略を用いた新しいプロキシマスク生成パイプラインにより、弱教師ありインスタンスセグメンテーションの性能を向上させること。
• 最小限の弱教師あり監視でPASCAL VOCおよびCOCOで最先端の結果を達成し、完全教師あり性能に近づけること。

提案手法

• ボックス監視画像と顕著オブジェクト検出画像を同時に学習するマルチタスク学習フレームワークを、1つのディープネットワーク内で統合して実装する。
• マルチインスタンス分類からピクセルレベルのセグメンテーションへの重み転送により、特徴学習を強化する。
• 事前学習済みのBoxCasegモデルがボックス監視画像の高品質なインスタンスマスクを生成し、マージおよびドロップ戦略を用いてプロキシマスクに最適化する。
• 生成されたプロキシマスクを用いて、弱教師ありインスタンスセグメンテーションのためのMask R-CNNを再学習する。
• バッチごとにボックス監視画像と顕著画像の比率を固定（例：9:7）することで、データバランスを保ち、学習の安定性を向上させる。
• 顕著セグメンテーションヘッドと転送セグメンテーションヘッドの重み付き融合を適用し、最適な性能はα=0.7で達成された。

Figure 1: The top row shows a salient training image (a) and two box-supervised training images (b). Our model is jointly trained using both salient images and box-supervised images and obtains high quality instance segmentation results (c).

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクト検出データは、ボクシングボックスアノテーションのみを用いた弱教師ありインスタンスセグメンテーションの効果的な補助記憶として機能するか？
• RQ2 プロキシマスクはどのようにして効果的に生成・最適化され、弱教師あり環境下でMask R-CNNを学習させるか？
• RQ3 共同学習において、ボックス監視画像と顕著画像の最適なバランスは何か？性能を最大化するには？
• RQ4 マージおよびドロップ戦略によるプロキシマスク処理は、弱教師あり学習における偽ラベルの品質を顕著に向上させるか？

主な発見

• 本手法は、7,991枚の顕著画像のみを用いてCOCO検証セットで70.9 mIoUを達成し、先行するボックス監視手法を上回った。
• PASCAL VOCでは、完全教師ありMask R-CNNと同等の性能を達成し、転送セグメンテーションヘッドの重みα=0.7で71.8 mIoUを達成した。
• マージ戦略はCOCOでAPを0.6ポイント、AP75を0.9ポイント向上させた。一方、0.95 IoU閾値でのドロップ戦略が最も優れた結果をもたらした。
• バッチ内でのボックス監視画像と顕著画像の比率を9:7に設定した場合が、COCOで70.9 mIoUを達成する最良の設定であった。
• α=0.7での重み転送機構は、単一ヘッドを用いる場合に比べ1.3%の向上を示し、その有効性と頑健性を実証した。
• 0.95 IoU閾値でのドロップ戦略は、COCOで30.9 APを達成し、80%のマスクが破棄されたが、高品質なマスクは大量の中程度品質のマスクよりもはるかに有益であることが示された。

Figure 2: The pipeline of our approach. Our training process is divided into three steps. First, we obtain a class-agnostic segmentation model (BoxCaseg) through the joint training of box-supervised dataset and salient object segmentation dataset (Sec. 3.2 ). Then, we use the class-agnostic segmenta