[論文レビュー] Learning Open-World Object Proposals without Learning to Classify

Dahun Kim, Tsung-Yi Lin+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、分類に依存しないオブジェクト候補手法であるObject Localization Network (OLN) を提案する。OLNは、前景・背景分類に代わり、局所化の質（例：中央度、IoU、回帰品質）からのみオブジェクト性を学習する。分類に依存する過学習を回避することで、COCO、RoboNet、Objects365、EpicKitchens におけるクロスカテゴリおよびクロスデータセット一般化性能をSOTA水準にまで向上させ、LVISにおける長尾検出性能も、レアカテゴリで+3.4 AP向上を達成した。

ABSTRACT

Object proposals have become an integral preprocessing steps of many vision pipelines including object detection, weakly supervised detection, object discovery, tracking, etc. Compared to the learning-free methods, learning-based proposals have become popular recently due to the growing interest in object detection. The common paradigm is to learn object proposals from data labeled with a set of object regions and their corresponding categories. However, this approach often struggles with novel objects in the open world that are absent in the training set. In this paper, we identify that the problem is that the binary classifiers in existing proposal methods tend to overfit to the training categories. Therefore, we propose a classification-free Object Localization Network (OLN) which estimates the objectness of each region purely by how well the location and shape of a region overlap with any ground-truth object (e.g., centerness and IoU). This simple strategy learns generalizable objectness and outperforms existing proposals on cross-category generalization on COCO, as well as cross-dataset evaluation on RoboNet, Object365, and EpicKitchens. Finally, we demonstrate the merit of OLN for long-tail object detection on large vocabulary dataset, LVIS, where we notice clear improvement in rare and common categories.

研究の動機と目的

• 既存の学習ベースのオブジェクト候補手法が訓練カテゴリに過学習し、未知のオブジェクトに対して失敗するという限界を解消すること。
• 分類に依存しないオブジェクト性の学習が、未観測カテゴリや多様なデータセットへの一般化を改善するかを調査すること。
• 分類に依存しない局所化品質の最適化により、効果的なオープンワールドオブジェクト候補を実現すること。
• OLNがLVISのような大語彙データセットにおける長尾検出に与える影響を評価すること。
• クロスデータセットおよびクロスカテゴリ設定において、分類ベースの特徴量に比べて局所化ベースの特徴量が優れていることを示すこと。

提案手法

• OLNは、標準的なRPNにおける二値分類器を、各領域の中央度、IoU、回帰品質を予測する局所化品質ヘッドに置き換える。
• モデルはカテゴリラベルを一切使用せず、アノテーション済みボクシングボックスとその空間的オーバーラップ指標のみを用いて学習する。
• オブジェクト性スコアは、中央度、IoU、回帰品質の学習された組み合わせとして計算され、未知のオブジェクト形状やカテゴリへの一般化を可能にする。
• 標準的なRPN風の領域生成を採用するが、分類ヘッドを局所化のみのヘッドに置き換えることでカテゴリバイアスを回避する。
• OLNは、Faster R-CNNおよびMask R-CNNにおけるRPNの即時交換型として評価され、既存の検出パイプラインと互換性を保つ。
• エンドツーエンドの学習が行われるが、提案スコアリングには分類ヘッドではなく、局所化ヘッドのみが使用される。

実験結果

リサーチクエスチョン

• RQ1 分類に依存しないオブジェクト候補ネットワークは、トレーニング時に見られなかった新しいオブジェクトカテゴリに対しても、より良い一般化性能を示せるか？
• RQ2 前景・背景分類の代わりに、局所化品質（例：中央度、IoU）を学習することで、クロスデータセット一般化性能が向上するか？
• RQ3 長尾検出の場面において、局所化のみのアプローチは分類ベースの手法と比べてどのように異なるか？
• RQ4 EpicKitchensのようなエゴセントリック動画データセットでは、OLNが新規かつ語彙外のオブジェクト（例：トーストベーカー、電子レンジ、生地のボール）を効果的に検出できるか？
• RQ5 LVISのような大語彙データセットにおいて、分類器ヘッドを削除することで、レアカテゴリの性能が向上するか？

主な発見

• COCOのクロスカテゴリ一般化ベンチマークにおいて、OLNは新規カテゴリで+3.3 AUC、+5.0 AR@10、+5.1 AR@100を達成し、SOTA手法を上回った。
• RoboNetでは、クラスに依存しない包括的検出において、標準的なRPNベース手法に比べてAPが13–16ポイント向上した。
• Objects365では、標準的手法に比べて+4 AR@10および+8 AR@100を達成し、顕著なクロスデータセット一般化性能を示した。
• EpicKitchensにおけるエゴセントリック動画評価では、Mask R-CNNが見逃すような幅広い新規オブジェクト（例：トーストベーカー、電子レンジ、生地のボール）をOLNが検出できた。
• LVISにおけるFaster R-CNNのRPNとしての即時交換型評価では、平均APが+1.4向上し、レアカテゴリで+3.4、共通カテゴリで+1.8の向上を達成した。
• アブレーションスタディにより、前景・背景分類器を削除することで一般化性能が顕著に向上し、局所化特徴量のみで十分な性能が得られることを確認した。