[論文レビュー] Extending One-Stage Detection with Open-World Proposals

Sachin Konan, Kevin J Liang+1 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Neural Network Applications被引用数 9

ひとこと要約

本稿では、FCOSを用いてオープンワールドプロポーザル（OWP）を拡張する手法を提案する。IOUに基づくオブジェクトネススコアリングとサンプリング戦略を導入することで、未知のクラスの検出性能が向上する。未知クラスのリcallが6%向上する一方で、分類精度を維持し、2段階ベースラインと比較して性能低下を2%に抑える。OLNと比較して6%の低下を回避する。

ABSTRACT

In many applications, such as autonomous driving, hand manipulation, or robot navigation, object detection methods must be able to detect objects unseen in the training set. Open World Detection(OWD) seeks to tackle this problem by generalizing detection performance to seen and unseen class categories. Recent works have seen success in the generation of class-agnostic proposals, which we call Open-World Proposals(OWP), but this comes at the cost of a big drop on the classification task when both tasks are considered in the detection model. These works have investigated two-stage Region Proposal Networks (RPN) by taking advantage of objectness scoring cues; however, for its simplicity, run-time, and decoupling of localization and classification, we investigate OWP through the lens of fully convolutional one-stage detection network, such as FCOS. We show that our architectural and sampling optimizations on FCOS can increase OWP performance by as much as 6% in recall on novel classes, marking the first proposal-free one-stage detection network to achieve comparable performance to RPN-based two-stage networks. Furthermore, we show that the inherent, decoupled architecture of FCOS has benefits to retaining classification performance. While two-stage methods worsen by 6% in recall on novel classes, we show that FCOS only drops 2% when jointly optimizing for OWP and classification.

研究の動機と目的

• 自動運転やロボット工学などの実世界の応用において、未学習のカテゴリに属するオブジェクトを検出する課題に対処すること。
• 従来、2段階ネットワークに比べて未知クラスで性能が劣るワンステージ検出器におけるオープンワールドプロポーザル（OWP）の性能を向上させること。
• 2段階検出器で見られるトレードオフを克服し、学習済みクラスの分類精度を維持しながらOWPに最適化すること。
• FCOSにおけるアーキテクチャ的最適化とサンプリング戦略を検討し、中心度（centerness）のみに依存するオブジェクトネス推定を拡張すること。
• 未知オブジェクトマスキングを提案・評価し、誤ラベルの背景サンプルをフィルタリングすることで学習を改善すること。

提案手法

• FCOSのデフォルトの中心度に基づくオブジェクトネスヘッドを、より高品質でクラスに依存しないプロポーザルを特定できるIOUに基づくオブジェクトネススコアに置き換える。
• IOUサンプリングを導入し、しきい値（0.925–0.95）付近のIOU値を持つプロポーザルを優先的に選択するハードネガティブマイニング戦略を採用することで、一般化性能を向上させる。
• トレーニング中に未知オブジェクトマスキングを適用し、低品質で誤ラベルのプロポーザルをフィルタリングすることで、誤検出の多い背景予測を抑制する。
• OWPと分類ヘッドを同時に学習させ、FCOSのデカップルドアーキテクチャを活用して両タスクにおける性能低下を最小限に抑える。
• しきい値（0.95）とトレーニングエポック（5k）を含むハイパーパramータを最適化し、OWPと分類性能のバランスを取る。
• COCOおよびLVISデータセットでベースクラスのAPと未知クラスのAR@100/AR@300を指標として用い、一般化性能と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 FCOSのようなワンステージ検出器が、2段階のRPNベースモデルと同等の最先端のオープンワールドプロポーザル（OWP）性能を達成できるか？
• RQ2 中心度のみに依存する手法と比較して、IOUに基づくオブジェクトネススコアリングとIOUサンプリングは、未知クラスにおけるOWP性能をどの程度向上させるか？
• RQ3 2段階ベースラインと比較して、FCOSがOWPに最適化しながらも、学習済みクラスの分類精度をどの程度維持できるか？
• RQ4 未知オブジェクトマスキングは、誤ラベルの背景サンプルからのノイズを効果的に低減させ、OWPおよび分類性能の両方を向上させるか？
• RQ5 提案された最適化は、LVISのような長尾分布を示すデータセットに対しても一般化できるか？

主な発見

• IOUに基づくオブジェクトネススコアリングとIOUサンプリングにより、COCOでは未知クラスのOWPリカールが4.8%向上、LVISでは4.55%向上し、OWP性能が6%の絶対的向上を達成した。
• OWPと分類の共同学習により、未知クラスのAR100は2.3%の低下に抑えられ、OLNの6.2%の低下と比較して顕著に優れている。
• 共同学習と未知オブジェクトマスキングを適用したFCOSは、COCOでベースクラスで46.2%のAP、未知クラスでAR100が27.8%を達成し、両指標でOLNを上回った。
• LVISでは、同じ最適化により未知クラスのAR300が35.30%から39.85%に上昇し、IOUに基づくオブジェクトネスが複数のデータセットにわたって有効であることを確認した。
• 未知オブジェクトマスキングはCOCOでは性能向上を示したが、LVISでは有意な向上が認められず、データセット固有の制限がある可能性を示唆し、さらなる調査を要する。
• FCOSのデカップルドアーキテクチャにより、OWPと分類の間でより良いトレードオフが実現可能であり、2段階性能に匹敵する一方で精度低下を最小限に抑える最初のワンステージ検出器であることが判明した。