[論文レビュー] PROB: Probabilistic Objectness for Open World Object Detection

Orr Zohar, Kuan-Chieh Wang+1 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

PROBは、潜在空間における特徴分布の推定と既知の物体の尤度最大化を交互に繰り返す確率的オブジェクトネスフレームワークを導入し、オープンワールドオブジェクト検出で最先端の性能を達成する。変形可能DETRと共同で学習することで、MS-COCOおよびPASCAL VOCベンチマークで未知オブジェクトのリCALLが約2倍向上し、既知オブジェクトのmAPが約10%向上する。

ABSTRACT

Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection ($\sim 2 imes$ unknown recall) and known object detection ($\sim 10\%$ mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.

研究の動機と目的

• 標準的なオブジェクト検出器が未知のオブジェクトをバックグラウンドと誤分類するため、オープンワールドオブジェクト検出（OWOD）における未知オブジェクト検出の課題に対処する。
• 未知のオブジェクトとバックグラウンドを区別するための教師なし状態を克服するため、特徴空間におけるオブジェクトネスを確率的密度としてモデル化する。
• オブジェクトネス推定と既知オブジェクトの尤度最大化を共同最適化することで、未知オブジェクト検出と既知オブジェクト検出の両方の性能を向上させる。
• 確率的オブジェクトネスを用いたアクティブエキジンプル選択により、効果的なインクリメンタル学習を可能にし、深刻な忘却を軽減する。
• 実世界の展開における新規オブジェクト検出の性能と分布シフトへのロバストネスを向上させる統合フレームワークを開発する。

提案手法

• 負例を必要とせず、埋め込み特徴空間におけるオブジェクト候補の尤度を密度としてモデル化する確率的オブジェクトネスヘッドを導入する。
• 2つの学習フェーズを交互に実行する：(1) オブジェクト埋め込みの確率分布を推定する段階と、(2) 既知オブジェクトに対応する埋め込みの尤度を最大化する段階。
• 変形可能DETR（D-DETR）アーキテクチャに確率的オブジェクトネスヘッドを統合し、標準の検出ヘッドとエンドツーエンドで学習可能にする。
• 推論時に推定されたオブジェクトネス分布を用いて、候補を既知オブジェクト、未知オブジェクト、バックグラウンドの3つにスコアリングする。
• インクリメンタル学習中にオブジェクトネススコアに基づくアクティブエキジンプル選択を実装し、高尤度の未知オブジェクトを優先してラベル付けおよびリプレイする。
• インクリメンタルクラス導入プロトコルを用いて、標準のOWODベンチマーク（MS-COCO、PASCAL VOC）で学習および評価する。

Figure 1 : Comparison of PROB with other open world object detectors. (a) Query embeddings (each representing a single prediction) are extracted from an image via the deformable DETR model. (b) other open-world detectors attempt to directly distinguish between unlabeled ‘hidden’ objects and backgrou

実験結果

リサーチクエスチョン

• RQ1 オブジェクト埋め込みの確率的密度モデルは、オープンワールドオブジェクト検出における未知オブジェクト検出性能を向上させることができるか？
• RQ2 オブジェクトネス分布推定と既知オブジェクト尤度最大化を共同で最適化することで、ヒューリスティックな偽ラベル付けよりも一般化性能が向上するか？
• RQ3 確率的オブジェクトネスは、同時に未知オブジェクト検出と既知オブジェクト検出の性能を向上させることができるか？
• RQ4 オブジェクトネスに基づくエキジンプル選択は、OWODにおけるインクリメンタル学習をどの程度向上させるか？
• RQ5 複数のベンチマークにおいて、既存の最先端OWODモデルと比較して、提案手法は未知リCALLとmAPの観点で優れているか？

主な発見

• PROBは、MS-COCOにおいて、既存のすべてのOWOD手法と比較して、未知オブジェクトのリCALLが100～300%の相対的向上を達成する。
• PROBは、MS-COCOの全タスクで、既知オブジェクト検出のmAPを約10%向上させ、OW-DETRおよびD-DETRベースラインを上回る。
• PASCAL VOCにおけるインクリメンタルオブジェクト検出（iOD）では、19+1設定で最終mAPが72.6を達成し、OW-DETRの70.2およびILODの68.2を上回る。
• アブレーションスタディの結果、オブジェクトネス尤度最大化を無効化したPROB-Objでは、既知オブジェクトのmAPが著しく低下し、このコンponentの重要性が確認された。
• オブジェクトネススコアを用いたアクティブエキジンプル選択（PROB-IL）は、既知オブジェクトのmAPよりも未知オブジェクトのリCALLをより顕著に向上させ、効果的なインクリメンタル学習における役割を示している。
• すべてのクラス（既知＋未知）で学習した上限モデル（D-DETR）はPROBよりも高いmAPを示すが、PROBは未知ラベルにアクセスしない条件下でも優れた性能を発揮しており、オープンワールド制約下での有効性が裏付けられる。

Figure 2 : Overview of the proposed PROB for open-world object detection . (top) Probabilistic objectness module. The probability distribution parameters of all of the query embeddings, $\theta$ , are first estimated via the exponential moving average of the mean and covariance estimators. The Mahal