[論文レビュー] 1st Place Solution for the UVO Challenge on Image-based Open-World Segmentation 2021

Yuming Du, W. Guo+2 more|arXiv (Cornell University)|Oct 19, 2021

Advanced Neural Network Applications参考文献 23被引用数 5

ひとこと要約

本論文は、最初にクラスに依存しないアンカーベース検出器を用いて物体を検出する2段階のインスタンスセグメンテーションフレームワークを提示している。この検出器には、カスケードRPN、SimOTAラベル割り当て、Swin-Lバックボーンなどの高度なコンponentsが組み込まれている。次に、予測されたバウンディングボックスから切り出した領域に対して、クラスに依存しないセグメンテーションネットワークを適用する。この手法は、COCOでAR@1000が77.4、UVO-Sparseテストセットで61.77を達成し、2021年UVOチャレンジで1位を獲得した。

ABSTRACT

We describe our two-stage instance segmentation framework we use to compete in the challenge. The first stage of our framework consists of an object detector, which generates object proposals in the format of bounding boxes. Then, the images and the detected bounding boxes are fed to the second stage, where a segmentation network is applied to segment the objects in the bounding boxes. We train all our networks in a class-agnostic way. Our approach achieves the first place in the UVO 2021 Image-based Open-World Segmentation Challenge.

研究の動機と目的

• 実世界の画像において、以前に見たことのない物体カテゴリを検出・セグメンテーションする必要があるオープンワールドインスタンスセグメンテーションの課題に対処すること。
• 運動ブラー、隠蔽、極端なポーズといった複雑な状況下でも、検出のリ콜と局所化の正確さを向上させること。
• 多様なデータセットでトレーニングされた強力な検出器とセグメンテーションコンponentを組み合わせることで、UVO 2021ベンチマークで最先端のパフォーマンスを達成すること。
• 分離ヘッド、適応的畳み込み、高度なラベル割り当てがオープンワールド環境におけるオブジェクト検出に与える有効性を示すこと。

提案手法

• 本手法は2段階のパイプラインを用いる：まず、FPNとCARAFEを用いたSwin-Lトランスフォーマーバックボーンを用いたアンカーベースのオブジェクト検出器が、バウンディングボックスの候補を生成する。
• 検出ネットワークは、可変畳み込み（DCNv2）を備えたカスケードRPN、分離された分類・回帰ヘッド、および提案品質を向上させるためのIoUブランチを採用している。
• SimOTAラベル割り当ては、分類ヘッドと回帰ヘッドの両方に別々に適用され、それぞれ異なるtop-K設定を用いることで、正例の選択を改善している。
• セグメンテーション段階では、UperNetベースのアーキテクチャを用い、予測されたバウンディングボックスから切り出した画像パッチを処理する。バックボーンはSwin-Lである。
• すべてのモデルはクラスに依存しない方法でトレーニングされており、既知のカテゴリに偏ることを減らし、オープンワールドのオブジェクトへの一般化を向上させている。
• 推論時には、フリップを用いたテスト時増強が適用され、モデルはImageNet-22kで事前学習され、COCO、OpenImages、PASCAL VOC、UVOデータセットで微調整されている。

実験結果

リサーチクエスチョン

• RQ1 高レベルの隠蔽、ブラー、希少な物体形状が見られる状況下で、どのようにオブジェクト検出のパフォーマンスを向上させられるか？
• RQ2 カスケードRPN、SimOTA、分離ヘッドといった高度な検出コンponentsが、オープンワールドインスタンスセグメンテーションにおけるリコールと局所化の正確さをどの程度向上させるか？
• RQ3 多様なデータセットでトレーニングされた2段階の検出-セグメンテーションパイプラインが、エンドツーエンド手法を上回る性能を示せるか？
• RQ4 クラスに依存しないトレーニングが、UVOのような実世界ベンチマークにおける未観測の物体カテゴリへの一般化にどの程度有効であるか？

主な発見

• 最終的な検出器は、COCO val2017でAR@1000が77.4を達成し、すべてのコンponentsを追加した後、ベースライン（58.3）を大きく上回った。
• Swin-Lトランスフォーマーバックボーンの使用により、AR@1000がResNet-50を用いた場合の73.9から77.4に向上した。これは、オープンワールド検出においてその有効性を示している。
• 完全な手法は、UVO-SparseテストセットでAR@100が61.77を達成し、2位チームの58.06を大きく上回った。
• アブレーションスタディの結果、SimOTAとIoUブランチの追加によりAR@1000が2.5ポイント向上した。一方、分離ヘッドとCARAFEはそれぞれ1.5ポイントおよび0.3ポイントの向上をもたらした。
• COCO、OpenImages、PASCAL VOCでトレーニングされたセグメンテーションネットワークは、運動ブラーと強い隠蔽下でも高品質なマスクを生成しており、定性的な結果でその有効性が示された。
• UVO-SparseおよびUVO-Denseデータセットで6エポック分微調整することで検出性能が向上した。これは、ドメイン特化された適応の価値を示している。