[論文レビュー] Unsupervised Recognition of Unknown Objects for Open-World Object Detection

Ruohuan Fang, Guansong Pang+3 more|arXiv (Cornell University)|Aug 31, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、再構成誤差に基づくワイブル分布モデル（REW）を用いて、偽ラベル付き提案領域における真の未知オブジェクトとバックグラウンド領域を区別することで、ラベルバイアスを軽減する、新しい非教師ありフレームワークMEPUを提案する。自己符号化器とワイブル統計を用いて特徴の周波数分布をモデル化することで、MS COCO、LVIS、Objects365で未知オブジェクト検出において最先端の性能を達成するとともに、既知オブジェクト検出の精度を維持する。

ABSTRACT

Open-World Object Detection (OWOD) extends object detection problem to a realistic and dynamic scenario, where a detection model is required to be capable of detecting both known and unknown objects and incrementally learning newly introduced knowledge. Current OWOD models, such as ORE and OW-DETR, focus on pseudo-labeling regions with high objectness scores as unknowns, whose performance relies heavily on the supervision of known objects. While they can detect the unknowns that exhibit similar features to the known objects, they suffer from a severe label bias problem that they tend to detect all regions (including unknown object regions) that are dissimilar to the known objects as part of the background. To eliminate the label bias, this paper proposes a novel approach that learns an unsupervised discriminative model to recognize true unknown objects from raw pseudo labels generated by unsupervised region proposal methods. The resulting model can be further refined by a classification-free self-training method which iteratively extends pseudo unknown objects to the unlabeled regions. Experimental results show that our method 1) significantly outperforms the prior SOTA in detecting unknown objects while maintaining competitive performance of detecting known object classes on the MS COCO dataset, and 2) achieves better generalization ability on the LVIS and Objects365 datasets.

研究の動機と目的

• 既存のオープンワールドオブジェクト検出（OWOD）手法が既知オブジェクトの監視に依存するため、類似しない領域をバックグラウンドとして誤分類する深刻なラベルバイアス問題に対処すること。
• 非教師付き領域提案手法によって生成された生の偽ラベル付き領域から、真の未知オブジェクトを非教師付きで認識可能にする。
• 未知クラスのアノテーションを一切必要とせず、LVIS や Objects365 などの多様なデータセットにおいて、未知オブジェクトの一般化能力と検出性能を向上させること。
• 分類フリーな精練戦略を用いた自己学習パイプラインを構築し、反復的に未ラベル領域への検出を拡張すること。
• 再構成に基づくOOD検出手法の限界を克服し、再構成誤差のワイブルモデリングによる適応的しきい値設定を導入すること。

提案手法

• 自己符号化器を用いて領域特徴を符号化し、再構成誤差をワイブル分布でモデル化する再構成誤差に基づくワイブルモデル（REW）を提案。これにより、フォアグラウンド（未知オブジェクト）とバックグラウンド（均一なテクスチャ）を区別する。
• 下流の検出タスクからの干渉を避けるために、特徴の意味的表現力を保つために、別個のバックボーンを用いてREWモジュールを訓練する。
• ワイブルモデルの再構成誤差分布から得られる尤度に基づき、偽ラベル付き領域にソフトラベルを割り当てる。このソフトラベルは、それが真の未知オブジェクトである可能性を示す。
• これらのソフトラベルを用いて検出ヘッドを統合し、バックグラウンド領域からの誤検出を低減するとともに、未知オブジェクトの予測を精錬する。
• 分類フリーな自己学習戦略（ROLNet）を適用し、REWモジュールから得た高スコアの偽ラベルを活用して、未ラベル領域への検出を拡張する。
• 自己符号化器と検出モデルをエンドツーエンドで同時に訓練する共同学習スキームを採用するが、アブレーションではオンライン学習による特徴バイアスの影響で性能が低下することが示された。

実験結果

リサーチクエスチョン

• RQ1 既知オブジェクトの監視に依存せず、特徴の周波数分布の非教師付きモデリングが、バックグラウンド領域と真の未知オブジェクトを効果的に区別できるか。
• RQ2 REWモジュールのワイブルベースの再構成誤差モデリングが、既存のOWOD手法が採用するオブジェクトネススコアに基づく偽ラベル付けと比較して、未知オブジェクト検出性能をどのように向上させるか。
• RQ3 自己学習機構（ROLNet）が、未観測の未知オブジェクトを含む未ラベル領域における検出性能をどの程度向上させるか。
• RQ4 本手法がLVIS や Objects365 において、他の最先端手法と比較して、より優れた汎化能力を示すか。
• RQ5 別個の再構成バックボーンを用いる場合とオンライン学習を用いる場合の、全体の検出性能および特徴品質への影響は何か。

主な発見

• MEPUはS-OWODB Task-1ベンチマークで54.8%の未知オブジェクトR@100を達成し、オブジェクトネススコアに依存する従来の最先端手法と比較して顕著に優れている。
• REWモジュールは特徴の周波数分布をモデル化することで、バックグラウンド領域の誤検出を低減し、均一なテクスチャ（空や壁）に対しては低いスコア（0.0–0.3）を、真の未知オブジェクトに対しては高いスコア（0.7–1.0）を割り当てる。
• LVISおよびObjects365データセットにおいて、MEPUは既存のOWODモデルと比較して優れた一般化能力を示し、多様でオープンエンドなオブジェクトカテゴリにわたる頑健性を確認した。
• アブレーションスタディでは、別個の再構成バックボーン（MEPU-FS）を用いることで、オンライン学習よりも性能が向上しており、−0.3 mAPおよび−4.1 R@100の低下が確認された。これは、特徴学習における意味的表現力の保持が重要であることを裏付けた。
• ROLNetを用いた自己学習は未知オブジェクト検出性能を向上させるが、OLNをRPNベースの偽ラベル付けに置き換えるとR@100が6.1ポイント低下し、OLNモジュールが検出品質を維持するために不可欠であることが示された。
• 失敗事例では、複雑な背景や部分的オブジェクト検出の場面で、モデルがテクスチャの背景やオブジェクトの一部を誤って未知と分類する傾向があることが判明。これは、意味的監視の欠如に起因する。