[論文レビュー] QueryInst: Parallelly Supervised Mask Query for Instance Segmentation

Y.K. Fang, Shusheng Yang+6 more|arXiv (Cornell University)|May 5, 2021

Advanced Neural Network Applications参考文献 23被引用数 12

ひとこと要約

QueryInstは、段階ごとの並列な監視と1対1のクエリ-マスク対応を用いるクエリベースのインスタンスセグメンテーションフレームワークを提案する。これにより、複数段階のヘッド接続とプロポーザルの一貫性の欠如を解消する。ResNet-101-FPNバックボーンを用いると、COCOで48.1のボックスAPと42.8のマスクAPを達成し、HTCを2.0 APポイント上回り、2.4倍高速に動作する。

ABSTRACT

Recently, query based object detection frameworks achieve comparable performance with previous state-of-the-art object detectors. However, how to fully leverage such frameworks to perform instance segmentation remains an open problem. In this paper, we present QueryInst, a query based instance segmentation method driven by parallel supervision on dynamic mask heads. The key insight of QueryInst is to leverage the intrinsic one-to-one correspondence in object queries across different stages, as well as one-to-one correspondence between mask RoI features and object queries in the same stage. This approach eliminates the explicit multi-stage mask head connection and the proposal distribution inconsistency issues inherent in non-query based multi-stage instance segmentation methods. We conduct extensive experiments on three challenging benchmarks, i.e., COCO, CityScapes, and YouTube-VIS to evaluate the effectiveness of QueryInst in instance segmentation and video instance segmentation (VIS) task. Specifically, using ResNet-101-FPN backbone, QueryInst obtains 48.1 box AP and 42.8 mask AP on COCO test-dev, which is 2 points higher than HTC in terms of both box AP and mask AP, while runs 2.4 times faster. For video instance segmentation, QueryInst achieves the best performance among all online VIS approaches and strikes a decent speed-accuracy trade-off. Code is available at \url{https://github.com/hustvl/QueryInst}.

研究の動機と目的

• クエリベースのオブジェクト検出フレームワークをインスタンスセグメンテーションに適応させることで、効率性と一貫性を向上させること。
• 明示的な複数段階のマスクヘッド接続の必要性を排除し、インスタンスセグメンテーションにおけるプロポーザル分布の一貫性を低下させること。
• 段階間でオブジェクトクエリに並列な監視を適用することで、動的マスクヘッドを用いたエンドツーエンド学習を可能にすること。
• スチル画像および動画インスタンスセグメンテーションタスクの両方で、望ましいスピード-精度トレードオフを達成する強力な性能を実現すること。

提案手法

• 各段階内でオブジェクトクエリとマスクRoI特徴の内在的な1対1対応を活用し、並列な監視を可能にする。
• ネットワーク全体にわたって一貫したオブジェクトクエリ表現を維持することで、段階間の並列な監視を導入する。
• 各段階ごとに独立して監視される動的マスクヘッドを用い、前段のプロポーザルに依存しない。
• 明示的な複数段階のマスクヘッド接続を排除することで、複雑さを低減し、学習の安定性を向上させる。
• 各オブジェクトクエリが統一されたフレームワーク内でボックスとマスクを同時に予測するクエリベースのアーキテクチャを採用する。
• 段階間で同一のクエリ表現を適用することで、一貫性を維持し、エンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クエリベースのインスタンスセグメンテーションは、高い推論速度を維持しながら最先端の性能を達成できるか？
• RQ2 段階間の並列な監視は、マスクヘッドの学習をどのように改善し、プロポーザルの一貫性を低下させるか？
• RQ3 オブジェクトクエリとマスク特徴の1対1対応は、セグメンテーション精度をどの程度向上させるか？
• RQ4 QueryInstは、スチル画像および動画インスタンスセグメンテーションベンチマークにおいて、既存手法と比べてどのように性能を発揮するか？

主な発見

• QueryInstは、ResNet-101-FPNバックボーンを用いてCOCOテストデブで48.1のボックスAPと42.8のマスクAPを達成し、HTCを両方の指標で2.0 APポイント上回った。
• 精度を維持しながらHTCの2.4倍高速に動作し、優れたスピード-精度トレードオフを示した。
• 動画インスタンスセグメンテーション（VIS）において、YouTube-VISベンチマークでオンラインVIS手法の中で最高の性能を達成した。
• 明示的な複数段階のマスクヘッド接続の排除により、学習の複雑さが低減し、特徴の一貫性が向上した。
• 並列な監視メカニズムにより、段階間で安定的かつ効果的な動的マスクヘッドの学習が可能になった。
• オブジェクトクエリとマスクRoI特徴の1対1対応により、特徴のアライメントとセグメンテーション品質が向上した。