[論文レビュー] RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentation

Shaoru Wang, Yongchao Gong+4 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Neural Network Applications参考文献 30被引用数 16

ひとこと要約

RDSNetは、相互特徴統合を用いて、物体検出とインスタンスセグメンテーションを統合的に最適化する2ストリームの深層アーキテクチャを提案する。ピクセルレベルのマスクを用いてバウンディングボックスを交互に精緻化し、オブジェクトレベルの手がかりによってマスク品質を向上させることで、高解像度のマスクと低い局所化誤差を実現し、1ステージ手法（YOLACTなど）を上回り、2ステージモデル（例：Mask R-CNN）の主な限界を克服した。SOTAの精度（32.1 mAP、32 fps）を達成した。

ABSTRACT

Object detection and instance segmentation are two fundamental computer vision tasks. They are closely correlated but their relations have not yet been fully explored in most previous work. This paper presents RDSNet, a novel deep architecture for reciprocal object detection and instance segmentation. To reciprocate these two tasks, we design a two-stream structure to learn features on both the object level (i.e., bounding boxes) and the pixel level (i.e., instance masks) jointly. Within this structure, information from the two streams is fused alternately, namely information on the object level introduces the awareness of instance and translation variance to the pixel level, and information on the pixel level refines the localization accuracy of objects on the object level in return. Specifically, a correlation module and a cropping module are proposed to yield instance masks, as well as a mask based boundary refinement module for more accurate bounding boxes. Extensive experimental analyses and comparisons on the COCO dataset demonstrate the effectiveness and efficiency of RDSNet. The source code is available at https://github.com/wangsr126/RDSNet.

研究の動機と目的

• 物体検出とインスタンスセグメンテーションの相互依存関係に着目し、それらが強く相関しているにもかかわらず、しばしば独立したタスクとして扱われることを是正すること。
• 従来の手法の限界、例えば低解像度のマスク、検出結果への過度な依存、バウンディングボックスの局所化誤差を克服すること。
• オブジェクトレベルとピクセルレベルの特徴を相互に活用する統合的でエンドツーエンドのアーキテクチャを設計し、性能を向上させること。
• 特に小形および大形オブジェクトに対して、リアルタイムの推論速度を維持しながら高い精度を達成すること。
• 回帰ベースのバウンディングボックス予測に依存を減らすために、マスクに基づく境界微調整機構を導入すること。

提案手法

• RDSNetは2ストリームアーキテクチャを採用：オブジェクトストリームは回帰ベースの検出を、ピクセルストリームは完全畳み込みネットワーク（FCN）バックボーンを用いた高解像度のインスタンスセグメンテーションを担当する。
• インスタンスに特化した情報とトランスレーション不変特徴をオブジェクトストリームからピクセルストリームに転送するために、相関モジュールとクロッピングモジュールを導入し、正確なマスク生成を可能にする。
• マスクベース境界微調整モジュール（MBRM）は、予測されたインスタンスマスクを用いてバウンディングボックス座標を微調整し、マスクの最小外接矩形を活用することで、局所化誤差を低減する。
• 学習段階では、背景ピクセルの多様性に対処するため「拡張・対比戦略」が適用され、マスク品質を向上させるためにOHEM（オンラインハード例題マイニング）が用いられる。
• ストリーム間で特徴を交互に統合することで、オブジェクトストリームがピクセルレベルの文脈情報を得られ、ピクセルストリームがオブジェクト局所化を精緻化できる。
• 検出とセグメンテーションの目的関数を統合したマルチタスク損失を用いてエンドツーエンドで学習し、境界微調整の最適化に向けたハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 相互特徴学習による物体検出とインスタンスセグメンテーションの共同最適化は、両タスクの性能向上に寄与するか？
• RQ2 特に大形オブジェクトにおいて、検出ボックスの品質とは独立してマスク品質を向上させることは可能か？
• RQ3 回帰に依存せず、ピクセルレベルのマスク情報を利用することで、バウンディングボックスの局所化精度はどの程度向上できるか？
• RQ4 背景ピクセルの混乱を低減し、マスクの一般化性能を向上させるために、どの訓練戦略が最も効果的か？
• RQ5 オブジェクトスケールにわたる局所化精度の観点から、提案されたMBRMモジュールは、直接的なマスクからボックスへのマッピングと比べてどの程度優れているか？

主な発見

• RDSNetは、入力サイズ550でCOCOインスタンスセグメンテーションで32.1 mAPを達成し、32 fpsで動作し、YOLACTを1.1 mAP上回り、より遅延の大きい2ステージモデルと同等の精度を達成した。
• OHEMと組み合わせた場合、クロッピングモジュールは線形結合（LC）と比べて1.1 mAP向上、YOLACTと比べて1.9 mAP向上を達成し、マスク生成の有効性を示した。
• MBRMモジュールは、特に大形オブジェクトのバウンディングボックス局所化を向上させ、大形オブジェクトのAP_L^bbで3.2 mAPの向上を示したが、スケールにわたる安定した性能を維持した。
• 局所化誤差は顕著に低減された：MBRMは平均でAP_bbを1.3ポイント向上させ、特に大形オブジェクトで最大の利益（+3.2 mAP）を示し、マスクガイドドな微調整の価値を裏付けた。
• アブレーションスタディにより、OHEMと適切なデータオーグメンテーション（例：訓練時におけるボックスの拡張）が性能に不可欠であることが確認され、OHEM単体でもYOLACTを1.9 mAP上回った。
• 推論速度はベース検出器とほぼ同等（10.9 fps）であり、追加モジュールによるオーバーヘッドは最小限に抑えられ、より高速な検出器への容易な適応性も示した。