[論文レビュー] The Devil is in the Points: Weakly Semi-Supervised Instance Segmentation via Point-Guided Mask Representation

Beomyoung Kim, Joonhyun Jeong+2 more|arXiv (Cornell University)|Mar 27, 2023

Image and Object Detection Techniques被引用数 4

ひとこと要約

本論文は、疑似マスクの品質を向上させ、提案領域における誤検出・誤検出を低減するために、ポイントラベルを用いた弱い半教師付きインスタンスセグメンテーションフレームワークを提案する。ポイントラベルを用いて適応的ピラミッドレベル選択を実施し、画像、粗いマスク、ポイントを入力とするMaskRefineNetを導入することで、完全にラベル付けされたデータの50%のみを用いてCOCOで38.8%のAPを達成。これは完全教師あり学習の性能（39.7%）にほぼ並ぶ。

ABSTRACT

In this paper, we introduce a novel learning scheme named weakly semi-supervised instance segmentation (WSSIS) with point labels for budget-efficient and high-performance instance segmentation. Namely, we consider a dataset setting consisting of a few fully-labeled images and a lot of point-labeled images. Motivated by the main challenge of semi-supervised approaches mainly derives from the trade-off between false-negative and false-positive instance proposals, we propose a method for WSSIS that can effectively leverage the budget-friendly point labels as a powerful weak supervision source to resolve the challenge. Furthermore, to deal with the hard case where the amount of fully-labeled data is extremely limited, we propose a MaskRefineNet that refines noise in rough masks. We conduct extensive experiments on COCO and BDD100K datasets, and the proposed method achieves promising results comparable to those of the fully-supervised model, even with 50% of the fully labeled COCO data (38.8% vs. 39.7%). Moreover, when using as little as 5% of fully labeled COCO data, our method shows significantly superior performance over the state-of-the-art semi-supervised learning method (33.7% vs. 24.9%). The code is available at https://github.com/clovaai/PointWSSIS.

研究の動機と目的

• 誤検出・誤検出の多い提案領域を低減することで、半教師付きインスタンスセグメンテーションにおける性能ギャップを是正する。
• 低コストなポイントラベルを弱い監視信号として活用し、提案領域のフィルタリングとマスクの精緻化を支援する。
• 十分な監視が得られない低データ環境において、マスク予測がノイズが多い問題を克服する。
• 最小限の完全ラベル付きデータと豊富なポイントラベル付きデータを組み合わせることで、提案領域の品質とマスク精度のバランスを効果的にとる手法を開発する。
• ポイント監視と精緻化されたマスク予測を統合することで、現実的な予算制約下でも高性能なインスタンスセグメンテーションを実現する。

提案手法

• ポイントラベルを用いてインスタンス提案領域をフィルタリングし、誤検出を低減する真の陽性提案領域のみを保持する。
• 各ポイントをネットワークの信頼度スコアに基づき、最も信頼度の高いFPN特徴レベルに割り当てるための適応的ピラミッドレベル選択を実装する。
• 画像、粗いマスク、ポイントを入力とするMaskRefineNetを設計し、アテンションベースの統合によってノイズの多いマスク予測を精緻化する。
• 完全ラベル付きデータでベースネットワークを学習した後、フィルタリングされた提案領域と精緻化されたマスクを用いて、ターゲットネットワークの学習を実行する。
• 2段階の学習パイプラインを適用する：まず完全ラベル付きデータでベースモデルを学習し、次にポイント誘導型の疑似ラベルを用いてターゲットモデルを学習する。
• 予測マスクから最小・最大のポイントを抽出し、オブジェクト検出ベンチマークでの評価用にバウンディングボックスを生成する。

実験結果

リサーチクエスチョン

• RQ1 ポイントラベルは、半教師付きインスタンスセグメンテーションにおいて誤検出・誤検出の多い提案領域を効果的に低減できるか？
• RQ2 完全ラベル付きデータが不足する状況で、ポイントラベルをどのように活用すればマスク品質を向上させられるか？
• RQ3 信頼度に基づくFPNレベルの適応的選択は、マスク予測精度を向上させるか？
• RQ4 画像、粗いマスク、ポイントを統合するMaskRefineNetは、疑似マスクのノイズをどの程度低減できるか？
• RQ5 提案手法は、大幅に少ない完全ラベル付きデータで完全教師あり学習に近い性能を達成できるか？

主な発見

• 本手法は、完全ラベル付きデータの50%のみを用いてCOCOで38.8%のAPを達成した。これは完全教師あり学習の39.7%にほぼ並ぶ。
• 完全ラベル付きデータを5%にまで減らしても、33.7%のAPを達成し、最先端の半教師付き手法（24.9% AP）を顕著に上回った。
• COCO test-devオブジェクト検出ベンチマークにおいて、同じResNet-50バックボーンを用いた既存の弱い半教師付きオブジェクト検出手法を上回った。
• 定性的な結果から、画像・粗いマスク・ポイントの3つの入力を併用した場合に、MaskRefineNetが重なったインスタンスを効果的に分離し、ノイズピクセルを除去していることが示された。
• BDD100Kでは、ポイントラベル付きデータで学習したモデルが、小形・大形・隠蔽されたオブジェクトに対して、ポイント監視なしのモデルよりも優れたロバスト性を示した。
• アブレーションスタディの結果、MaskRefineNetの3つの入力すべてが不可欠であることが確認された。ポイントまたは粗いマスクを欠落させると、誤分類や不正確なマスク境界が生じた。