[論文レビュー] GOOD: Exploring Geometric Cues for Detecting Objects in an Open World

Haiwen Huang, Andreas Geiger+1 more|arXiv (Cornell University)|Dec 22, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

GOODは、事前学習済みモノクロナル推定器から得られる深度マップおよびノーマルマップを活用して、未知のオブジェクトカテゴリの検出を向上させる幾何学的ガイド付きオープンワールドオブジェクト検出フレームワークを提案する。トレーニング中に未ラベルのオブジェクトに対して擬似ラベルを生成するためにこれらの幾何的ヒントを用いることで、GOODはCOCO上でのSOTA手法と比較してAR@100で5.0%の絶対的向上を達成した。これは、1つのベースクラス（例：'person'）での学習時でも同様に成立する。

ABSTRACT

We address the task of open-world class-agnostic object detection, i.e., detecting every object in an image by learning from a limited number of base object classes. State-of-the-art RGB-based models suffer from overfitting the training classes and often fail at detecting novel-looking objects. This is because RGB-based models primarily rely on appearance similarity to detect novel objects and are also prone to overfitting short-cut cues such as textures and discriminative parts. To address these shortcomings of RGB-based object detectors, we propose incorporating geometric cues such as depth and normals, predicted by general-purpose monocular estimators. Specifically, we use the geometric cues to train an object proposal network for pseudo-labeling unannotated novel objects in the training set. Our resulting Geometry-guided Open-world Object Detector (GOOD) significantly improves detection recall for novel object categories and already performs well with only a few training classes. Using a single "person" class for training on the COCO dataset, GOOD surpasses SOTA methods by 5.0% AR@100, a relative improvement of 24%.

研究の動機と目的

• 少数のベースクラスでの学習に限界があるにもかかわらず、シーン内のすべてのオブジェクトを検出できるクラスに依存しないオープンワールドオブジェクト検出の課題に対処すること。
• トレーニングクラスに過剰適合し、見た目が異なる新しいオブジェクトに対して一般化できないRGBベースの検出器の限界を克服すること。
• 事前学習済みモノクロナル推定器から得られる幾何的ヒント（深度、ノーマル）を活用して、未学習のオブジェクトカテゴリの検出リコールを向上させること。
• テクスチャーや特徴的な部分に依存するショートカット学習を引き起こす外見ベースのヒントに依存するのを減らし、特に少サンプルのオープンワールド設定下で効果を発揮すること。

提案手法

• 微調整を必要としない市販のモノクロナル深度およびノーマル推定器を用いて、RGB画像から幾何的ヒントを予測する。
• 予測された幾何的マップ上でオブジェクトプロポーザルネットワークを学習させ、トレーニングセット内の未ラベルの新しいオブジェクトを同定する。
• 幾何的プロポーザルネットワークの上位予測から得られる擬似バウンディングボックスを、最終的なRGBベースのオブジェクト検出器の学習に使用する。
• 擬似ラベル化された新しいオブジェクトを用いてRGBベースの検出器を微調整し、未学習のカテゴリへの一般化を向上させる。
• 擬似ラベルのノイズを軽減し、耐性を高めるために、検出器の学習中にAutoAugmentのデータ拡張を適用する。
• 2段階のトレーニングパイプラインを採用する：まず幾何的ヒントに基づいたプロポーザルネットワークを学習し、次に生成された擬似ラベルを用いてRGB入力に基づく検出器を学習する。

実験結果

リサーチクエスチョン

• RQ1 深度やノーマルといった幾何的ヒントは、オープンワールドオブジェクト検出において、未知のオブジェクトカテゴリの検出リコールを向上させることができるか？
• RQ2 幾何的ヒントを統合することで、ベースクラスへの過剰適合が軽減され、未学習のオブジェクトカテゴリへの一般化が向上するか？
• RQ3 少サンプルのオープンワールド検出において、幾何的ヒントに基づく擬似ラベル化は、完全にRGBベースの手法と比較してどの程度有効か？
• RQ4 幾何的ヒントは、データ拡張や形状バイアスに比べて、未知のオブジェクトの検出をどの程度効果的に向上させるか？
• RQ5 ベースクラスの数が、GOODとSOTA手法の間の性能差にどの程度影響を及けるか？

主な発見

• GOODは、COCO上で1つのベースクラス（'person'）でのみ学習した場合でも、SOTA手法と比較してAR@100で5.0%の絶対的向上を達成し、相対的に24%の向上を示した。
• 1つのベースクラスで学習した場合、ADE20K検証セットで18個の真陽性を検出でき、OLN（13個）やGGN（14個）を上回り、未知カテゴリへの一般化性能が優れていることを示した。
• 幾何的ヒントに基づいて学習されたオブジェクトプロポーザルネットワークは、高品質な上位予測（AR N @k ≤ 5）を達成しており、深度とノーマルが新しいオブジェクトを同定するのに有効であることが示された。
• AutoAugmentによるデータ拡張は、擬似ラベル化と組み合わせた場合に、未知クラスの性能向上に寄与するが、真のラベルのみに適用した場合には一般化性能の向上に失敗した。
• GOODは、ベースクラスを80個も必要とするOLNと比較して、わずか39個のベースクラスで同等の性能を達成した。これは、より高いサンプル効率と過剰適合の低減を示している。
• ベースクラスと未知クラスのAR差を顕著に縮小し、幾何的ヒントが異なるオブジェクトカテゴリ間の一般化ギャップを埋めるのに有効であることを示した。