[論文レビュー] Segmentation is All You Need

Zehua Cheng, Yuxiang Wu+3 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 24被引用数 15

ひとこと要約

本論文は、セグメンテーションモデルを用いて堅牢な検出を実現する、最初のアンカー不要かつNMS不要なオブジェクト検出フレームワークであるWSMA-Segを提案する。弱い教師付きバウンディングボックスとランデータベースのホロニミカルトレースアルゴリズムからのマルチモーダルアノテーションを活用することで、WSMA-SegはMS COCO、WIDER Face、Rebar Headの各データセットで最先端の性能を達成し、特にオクルージョンや小サイズオブジェクト検出といった極端な状況下でも、既存の検出器を上回る精度と耐性を示す。

ABSTRACT

Region proposal mechanisms are essential for existing deep learning approaches to object detection in images. Although they can generally achieve a good detection performance under normal circumstances, their recall in a scene with extreme cases is unacceptably low. This is mainly because bounding box annotations contain much environment noise information, and non-maximum suppression (NMS) is required to select target boxes. Therefore, in this paper, we propose the first anchor-free and NMS-free object detection model called weakly supervised multimodal annotation segmentation (WSMA-Seg), which utilizes segmentation models to achieve an accurate and robust object detection without NMS. In WSMA-Seg, multimodal annotations are proposed to achieve an instance-aware segmentation using weakly supervised bounding boxes; we also develop a run-data-based following algorithm to trace contours of objects. In addition, we propose a multi-scale pooling segmentation (MSP-Seg) as the underlying segmentation model of WSMA-Seg to achieve a more accurate segmentation and to enhance the detection accuracy of WSMA-Seg. Experimental results on multiple datasets show that the proposed WSMA-Seg approach outperforms the state-of-the-art detectors.

研究の動機と目的

• オクルージョン、照明が悪い状況、小サイズオブジェクトなどの極端な検出シナリオにおける領域提案ネットワークの限界を解消すること。
• スケーラブルな検出フレームワークのボトルネックである非最大抑制（NMS）とアンカーボックスのハイパーパrameterの必要性を排除すること。
• バウンディングボックスアノテーションではなくピクセルレベルのセグメンテーションアノテーションを活用することで、検出の耐性と精度を向上させること。
• マルチスケールおよび小サイズオブジェクト検出性能を向上させるために、新しいセグメンテーションバックボーンMSP-Segを開発すること。
• マルチモーダルアノテーション設計により、弱い教師付きバウンディングボックスアノテーションのみを用いてインスタンス認識セグメンテーションを実現すること。

提案手法

• 弱い教師付きバウンディングボックスアノテーションを、内部領域、境界領域、境界上内部領域を表す3チャンネルのマルチモーダルアノテーションに変換し、セグメンテーションの監視に用いる。
• マルチモーダルアノテーションを用いてセグメンテーションモデルを学習させ、インスタンス認識のオブジェクト構造をエンコードするマルチモーダルヒートマップを学習する。
• 学習済みセグメンテーションマップから、ランデータベースのフォローニングアルゴリズムを適用してオブジェクトの輪郭をトレースし、正確な輪郭検出を実現する。
• トレースされた輪郭の外接四角形として最終的なオブジェクト検出ボックスを生成することで、NMSの必要性を排除する。
• 特に小サイズおよび複雑なオブジェクトに対して高いセグメンテーション精度を実現するため、マルチスケールプーリングセグメンテーション（MSP-Seg）モデルをバックボーンとして統合する。
• 推論時にヒートマップをピクセルレベルの論理演算によりインスタンス認識セグメンテーションマップに変換する。

実験結果

リサーチクエスチョン

• RQ1 アンカーボックスやNMSに依存しないオブジェクト検出フレームワークは、高い性能を達成できるか？
• RQ2 弱い教師付きバウンディングボックスから導出されるマルチモーダルアノテーションは、正確でインスタンス認識可能なセグメンテーションを可能にするか？
• RQ3 NMSを用いずに、セグメンテーションマップからランデータベースのホロニミカルトレースアルゴリズムがオブジェクト境界を効果的に回復できるか？
• RQ4 マルチスケールプーリング機構は、小サイズおよびオクルージョンのあるオブジェクトのセグメンテーションおよび検出性能を向上させるか？
• RQ5 NMS不要・アンカー不要な検出フレームワークは、極端な検出シナリオにおいて最先端の検出器を上回る性能を示せるか？

主な発見

• WSMA-SegはMS COCOテストデブで平均平均精度（AP）38.1を達成し、Faster R-CNN with TDMやCornerNet511を含むすべての最先端ベースラインを上回った。
• MS COCOデータセットにおいて、WSMA-Segは小サイズオブジェクト（AP^s）で22.5のAPを達成し、この挑戦的なカテゴリで最高のベースライン（17.0）を顕著に上回った。
• WIDER Faceデータセットでは、F1スコアがEasyで94.70、Mediumで93.41、Hardで87.23を記録し、比較されたすべての最先端手法を上回った。
• MS COCOでは平均リcall（AR^1）が35.2を達成し、次に良い手法（33.9）を顕著に上回った。
• MSP-Segバックボーンは、小サイズオブジェクトおよび複雑なシーンにおいて顕著に検出精度を向上させ、AP^sおよびAR^s指標の向上によって裏付けられた。
• WSMA-SegのNMS不要設計により、IoU閾値のハイパーパrameterチューニングの必要性が排除され、極端な状況下でのスケーラビリティと耐性が向上した。