[論文レビュー] ContrastMask: Contrastive Learning to Segment Every Thing

Xuehui Wang, Kai Zhao+4 more|arXiv (Cornell University)|Mar 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

ContrastMaskは、ベースカテゴリからのアノテート済みマスクとノベルカテゴリからの疑似マスクを活用して、クラスに依存しないマスクセグメンテーションモデルを学習する統合的ピクセルレベル対照学習フレームワークを提案する。ベースカテゴリとノベルカテゴリの両方で前景および背景のクエリを共有し、クエリ共有対照損失を用いることで、前景と背景の特徴の区別を向上させ、COCOにおける部分的教師あり条件下でノベルカテゴリで39.8 mAPという最先端の性能を達成した。

ABSTRACT

Partially-supervised instance segmentation is a task which requests segmenting objects from novel unseen categories via learning on limited seen categories with annotated masks thus eliminating demands of heavy annotation burden. The key to addressing this task is to build an effective class-agnostic mask segmentation model. Unlike previous methods that learn such models only on seen categories, in this paper, we propose a new method, named ContrastMask, which learns a mask segmentation model on both seen and unseen categories under a unified pixel-level contrastive learning framework. In this framework, annotated masks of seen categories and pseudo masks of unseen categories serve as a prior for contrastive learning, where features from the mask regions (foreground) are pulled together, and are contrasted against those from the background, and vice versa. Through this framework, feature discrimination between foreground and background is largely improved, facilitating learning of the class-agnostic mask segmentation model. Exhaustive experiments on the COCO dataset demonstrate the superiority of our method, which outperforms previous state-of-the-arts.

研究の動機と目的

• ベースカテゴリにはマスクアノテーションが存在するが、ノベルカテゴリにはボックスレベルのアノテーションしか存在しない部分的教師ありインスタンスセグメンテーションの課題に対処すること。
• トレーニング中にベースカテゴリとノベルカテゴリの両方のデータを活用することで、前景と背景の特徴の区別を向上させること。
• ベースカテゴリとノベルカテゴリの両方における対照学習を統合することで、両カテゴリ間の一般化ギャップを埋めること。
• 限られたマスクアノテーションとノベルカテゴリからの疑似マスクを活用することで、アノテーション負荷を軽減すること。
• 未学習のオブジェクトカテゴリにうまく一般化できる、堅牢なクラスに依存しないマスクセグメンテーションモデルの開発

提案手法

• 前景および背景のクエリをベースカテゴリとノベルカテゴリの両方のマスク領域内および外の特徴を平均することで共有する、クエリ共有ピクセルレベル対照損失を導入した。
• ノベルカテゴリのための疑似マスクは、クラスアクティベーションマップ（CAM）を用いて生成され、ポジティブおよびネガティブなキーの領域事前分布として機能する。
• 特別なサンプリング戦略により、マスク領域内および外のキーを選択し、同じ領域からの特徴が引き寄せられ、反対領域の特徴と対照されるようにした。
• 対照損失は各プロポーザルに対して適用され、共有クエリによりベースカテゴリとノベルカテゴリの両方で一貫した特徴学習が可能になった。
• 対照学習ヘッドからの特徴が、最終的なインスタンスセグメンテーションのためのクラスに依存しないマスクヘッドに統合された。
• 高信頼度のCAM領域が、ノイズの多い疑似マスクに対して頑健性を向上させるための事前分布として使用された。

実験結果

リサーチクエスチョン

• RQ1 統合的対照学習フレームワークをベースカテゴリとノベルカテゴリで同時に学習させることで、マスクセグメンテーション性能が向上するか？
• RQ2 ベースカテゴリとノベルカテゴリの両方で前景および背景のクエリを共有することで、前景と背景の特徴の区別が向上するか？
• RQ3 ノベルカテゴリに真のマスクがない状況で、CAMからの疑似マスクが対照学習の事前分布として効果的に機能するか？
• RQ4 プロポーザルごとのクエリ学習と比較して、クエリ共有戦略はセグメンテーション性能にどのように影響するか？
• RQ5 ベースカテゴリとノベルカテゴリの両方のデータを用いることで、ノベルカテゴリへの一般化性能がどの程度向上するか？

主な発見

• ContrastMaskは、バックボーンにResNeXt-101-FPNを用いて、ノベルカテゴリで39.8 mAPを達成し、先行研究の最先端手法を顕著に上回った。
• アブレーションスタディにより、クエリ共有が不可欠であることが確認され、その除去によりmAPが35.1から32.7に低下し、特徴の整合性を保つ上で極めて重要な役割を果たしていることが示された。
• ベースカテゴリのみを用いた対照学習ではベースカテゴリで33.5 mAPを達成したが、すべてのカテゴリ（ベース＋ノベル）を用いることで35.1 mAPに向上し、ノベルカテゴリデータの統合による利点が明らかになった。
• 真のマスクをCAMベースの疑似マスクの代わりに使用するとmAPが1.4ポイント向上したため、疑似マスクの品質が性能の限界要因であることが示唆された。
• クエリ共有戦略により、ノイズの多いCAMの影響が軽減され、不完全な疑似マスクであっても強力な性能を維持できた。
• 追加のマスクアノテーションが不要な状態で、ノベルカテゴリへの一般化が効果的に実現されたため、実世界のリソースが限られた状況に適した手法であることが示された。