[論文レビュー] SipMask: Spatial Information Preservation for Fast Image and Video Instance Segmentation

Jiale Cao, Rao Muhammad Anwer+4 more|arXiv (Cornell University)|Jul 29, 2020

Advanced Neural Network Applications参考文献 56被引用数 28

ひとこと要約

SipMaskは、物体のバウンディングボックス内での空間情報を保持するための軽量な空間保持（SP）モジュールを用いて、部分領域固有の空間係数を生成することで、隣接する物体のマスク精度を向上させる高速でワンステージのインスタンスセグメンテーション手法を提案する。SipMaskは、TensorMaskより1.0%高いAPを達成し、YOLACTより3.0%高いAPを達成しながら、TensorMaskの4倍の速度で動作し、Titan Xp上でリアルタイム速度を達成する。

ABSTRACT

Single-stage instance segmentation approaches have recently gained popularity due to their speed and simplicity, but are still lagging behind in accuracy, compared to two-stage methods. We propose a fast single-stage instance segmentation method, called SipMask, that preserves instance-specific spatial information by separating mask prediction of an instance to different sub-regions of a detected bounding-box. Our main contribution is a novel light-weight spatial preservation (SP) module that generates a separate set of spatial coefficients for each sub-region within a bounding-box, leading to improved mask predictions. It also enables accurate delineation of spatially adjacent instances. Further, we introduce a mask alignment weighting loss and a feature alignment scheme to better correlate mask prediction with object detection. On COCO test-dev, our SipMask outperforms the existing single-stage methods. Compared to the state-of-the-art single-stage TensorMask, SipMask obtains an absolute gain of 1.0% (mask AP), while providing a four-fold speedup. In terms of real-time capabilities, SipMask outperforms YOLACT with an absolute gain of 3.0% (mask AP) under similar settings, while operating at comparable speed on a Titan Xp. We also evaluate our SipMask for real-time video instance segmentation, achieving promising results on YouTube-VIS dataset. The source code is available at https://github.com/JialeCao001/SipMask.

研究の動機と目的

• バウンディングボックス内での空間情報の損失により、空間的に隣接する物体を正確に区別できないワンステージのインスタンスセグメンテーションモデルの性能の低さを是正すること。
• 推論速度を犠牲にせずにマスク予測精度を向上させること、特にリアルタイムアプリケーションを想定して。
• 物体提案内の細粒度な空間表現を可能にする軽量なモジュールを開発すること。
• 一貫した性能を維持しながら、リアルタイムの動画インスタンスセグメンテーションへの拡張を実現すること。

提案手法

• 各物体のバウンディングボックスを部分領域に分割し、それぞれの部分領域に対して別々の空間係数を生成することで、空間的詳細を保持する新しい軽量な空間保持（SP）モジュールを導入する。
• 分類の信頼度と真値とのIoUに基づいて、ピクセル単位のBCE損失を再重み付けするマスクアライメント重み付き損失を採用し、正確なボックスに優先順位を付ける。
• 検出とマスク予測ヘッドの両方の特徴表現を向上させるための特徴アライメント方式を適用し、検出とセグメンテーションの相関性を高める。
• 完全畳み込み型のトラッキングブランチを追加することで、フレーム間のインスタンス関連付けを実現し、ワンステージフレームワークを動画インスタンスセグメンテーションに拡張する。
• COCOではResNet101-FPNバックボーン、YouTube-VISではResNet50-FPNを用いた単一スケールの推論設定を採用し、リアルタイム性能を実現する。
• 精度と速度のバランスを最適化するため、$2\times2$の部分領域分割を採用し、アブレーションスタディで妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 物体のバウンディングボックス内での空間情報を保持することで、ワンステージのインスタンスセグメンテーションにおけるマスク品質が向上するか？
• RQ2 部分領域固有の空間係数を用いることで、空間的に隣接するインスタンスの区別がより良くなるか？
• RQ3 軽量な空間保持モジュールを用いることで、推論速度を損なわず精度が向上するか？
• RQ4 提案されたマスクアライメント重み付き損失は、マスク予測性能にどのように影響するか？
• RQ5 ワンステージのSipMaskフレームワークは、効果的にリアルタイムの動画インスタンスセグメンテーションに拡張可能か？

主な発見

• COCO test-devでは、$544\times544$の単一スケール入力で32.8のマスクAPを達成し、Titan Xp上でリアルタイム速度（30 fps）で動作する。
• COCO test-devにおいて、SipMaskはSOTAのワンステージ手法であるTensorMaskを1.0%上回るマスクAPを達成し、4倍の高速化を実現した。
• Titan Xp上で同程度の推論速度設定下で、リアルタイムのYOLACTと比較して、SipMaskはマスクAPを3.0%向上させた。
• アブレーションスタディの結果、$2\times2$の部分領域が最も良いトレードオフを示し、32.9のAPを達成しており、$3\times3$を超えるとわずかな向上にとどまる。
• マスクアライメント重み付き損失は、分類スコアと局所化スコアの両方を組み合わせた再重み付けにより、性能を0.8%向上（31.2から32.0 AP）させた。
• YouTube-VISでは、SipMaskが32.5のAPを達成し、MaskTrack R-CNNを2.2%上回るマスク精度を実現しながら、30 fpsで動作した。