[論文レビュー] Joint COCO and Mapillary Workshop at ICCV 2019: COCO Instance Segmentation Challenge Track

Zeming Li, Yuchen Ma+3 more|arXiv (Cornell University)|Oct 6, 2020

Reservoir Engineering and Simulation Methods参考文献 12被引用数 7

ひとこと要約

この論文では、新しいRPN++ヘッドを用いてオブジェクトを検出する2段階のインスタンスセグメンテーションシステムであるMegDetV2を提示する。その後、Mask R-CNNを用いて予測を精緻化する。この手法は、COCO-2019テストデベロップ用に検出で61.0 mAP、インスタンスセグメンテーションで53.1 mAPを達成し、COCO 2019および2020のチャレンジにおいて両タスクで新たなSOTAを樹立した。

ABSTRACT

In this report, we present our object detection/instance segmentation system, MegDetV2, which works in a two-pass fashion, first to detect instances then to obtain segmentation. Our baseline detector is mainly built on a new designed RPN, called RPN++. On the COCO-2019 detection/instance-segmentation test-dev dataset, our system achieves 61.0/53.1 mAP, which surpassed our 2018 winning results by 5.0/4.2 respectively. We achieve the best results in COCO Challenge 2019 and 2020.

研究の動機と目的

• 2パスの検出とセグメンテーションパイプラインを通じて、COCOデータセットにおけるインスタンスセグメンテーション性能の向上を図ること。
• アノテーションとの高いIoUを活用し、クラスに応じたサンプリングを組み合わせた、提案品質を向上させる新しいRPN++ヘッドの設計。
• 可変畳み込み、マルチスケールトレーニング、モデルアンサンブルなどの先進的手法を統合し、SOTAの結果を達成すること。
• 統一的でスケーラブルなトレーニングおよび推論パイプラインを用いて、検出およびインスタンスセグメンテーションのベンチマークで優れた性能を達成すること。

提案手法

• システムは2パスパイプラインを採用する：まずFPNベースの検出器がバウンディングボックスの候補を生成し、次にそれらの候補がMask R-CNNヘッドに供給されてインスタンスセグメンテーションが実行される。
• RPN++は、RPNスコアではなくアノテーションとのIoUを用いることで、候補選択を改善し、NMSのIoU閾値を緩和して高品質な候補を保持する。
• クラスに応じたサンプリングは、IoU分布に基づいて各クラスごとに動的に候補のサンプリングを調整し、オブジェクトカテゴリ間のバランスを向上させる。
• 可変畳み込みおよびプーリング層をResNetの各ステージおよびRoI-Alignに適用し、空間特徴をより良く捉えることで、検出精度を向上させる。
• 全結合層の代わりに、4層スタックされた畳み込みヘッドを用いてバウンディングボックス回帰を実装し、空間特徴の活用を強化する。
• より大きな入力サイズ（600–1600）を用いたマルチスケールトレーニングと、テスト時の水平反転により、性能がさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 分離された検出およびセグメンテーションヘッドを有する2パスパイプラインは、エンドツーエンドモデルに比べてインスタンスセグメンテーション性能を上回ることができるか？
• RQ2 RPN++における高IoUの候補サンプリングは、標準的なNMSと比較して、検出およびセグメンテーション性能にどのように寄与するか？
• RQ3 可変畳み込みおよびマルチスケールトレーニングは、COCOにおけるmAP向上にどの程度寄与するか？
• RQ4 Objects365での事前学習およびモデルアンサンブルは、最終的な検出およびセグメンテーションmAPにどのような影響を与えるか？

主な発見

• 最終的な2パスシステムは、COCO-2019テストデベロップ用に検出で61.0 mAPを達成し、2018年の優勝結果より5.0 mAPも上回った。
• インスタンスセグメンテーションでは、COCO-2019テストデベロップ用に53.1 mAPを達成し、2018年の結果より4.2 mAPも向上した。
• 高IoUサンプリングを用いたRPN++は、FPNを2.5 mAP向上（38.8 vs. 36.3）させ、キャスケードヘッドを組み合わせると40.7 mAPに達した。
• クラスに応じたサンプリングは、FPNを1.3 mAP向上（37.6 vs. 36.3）させ、可変畳み込みは標準FPNに比べ2.6 mAPの向上をもたらした。
• より大きな入力サイズ（600–1600）を用いたマルチスケールトレーニングは、標準の400–1400スケーリングと比較してmAPを0.9ポイント向上させた。
• 3つの検出モデルと2つのセグメンテーションモデルをアンサンブルすることで、COCOテストデベロップで最終的に61.0 mAPおよび53.1 mAPの結果が得られた。