[論文レビュー] RepPoints: Point Set Representation for Object Detection

Ze Yang, Shaohui Liu+3 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Neural Network Applications参考文献 55被引用数 146

ひとこと要約

tldr: RepPoints は、物体をモデル化するための学習可能な代表サンプル点の集合を導入し、アンカー無し検出器（RPDet）を可能にします。これにより COCO でアンカー基盤手法と同等またはそれを上回る性能を達成し、マルチスケールで強力な結果を示します。

ABSTRACT

Modern object detectors rely heavily on rectangular bounding boxes, such as anchors, proposals and the final predictions, to represent objects at various recognition stages. The bounding box is convenient to use but provides only a coarse localization of objects and leads to a correspondingly coarse extraction of object features. In this paper, we present \textbf{RepPoints} (representative points), a new finer representation of objects as a set of sample points useful for both localization and recognition. Given ground truth localization and recognition targets for training, RepPoints learn to automatically arrange themselves in a manner that bounds the spatial extent of an object and indicates semantically significant local areas. They furthermore do not require the use of anchors to sample a space of bounding boxes. We show that an anchor-free object detector based on RepPoints can be as effective as the state-of-the-art anchor-based detection methods, with 46.5 AP and 67.4 $AP_{50}$ on the COCO test-dev detection benchmark, using ResNet-101 model. Code is available at https://github.com/microsoft/RepPoints.

研究の動機と目的

• 長方形の境界ボックスを超えた、より微細な物体局所化の必要性を動機づける。
• RepPoints を、物体を囲み、意味的に重要な領域を強調する学習可能なサンプル点の集合として提案する。
• RepPoints を初期化・改良・最終局所化に用いるアンカーなし検出モデル（RPDet）を開発する。
• RepPoints が、マルチスケールの学習/推論の有無に関わらず、COCO でアンカーベースの検出器に匹敵またはそれを上回ることを示す。

提案手法

• 物体を 4 次元の境界ボックスの代わりに、微分可能な n 個のサンプル点の集合 RepPoints として表現する。
• 予測オフセットを介して、段階ごとに RepPoints を改良し、物体局所化を引き締める。
• RepPoints を、監督と評価のための微分可能な変換を用いて疑似ボックスに変換する。
• ローカライズ損失（疑似ボックスとグラウンドトゥルースとの距離）と、次の検出段階からの認識損失の組み合わせで訓練する。
• 変形可能な畳み込みと RepPoints を統合して、不規則点でのサンプリングを可能にする。
• アンカーなしのセンターポイント初期化を用い、それが RepPoints 提案と最終ターゲットへと進化する。

実験結果

リサーチクエスチョン

• RQ1 RepPoints は境界ボックスよりも細かな局所化を提供しつつ、認識性能を維持または向上させることができるか？
• RQ2 RepPoints を用いたアンカーなし検出器（RPDet）は、COCO で最先端のアンカー基盤検出器と競争力があるか？
• RQ3 RepPoints の学習監督（局所化 + 認識）は、意味的に有意義な点の配置にどのように影響するか？
• RQ4 訓練と評価のための RepPoints を疑似ボックスへ変換することの影響は何か？

主な発見

Representation	Backbone	AP	AP_50	AP_75
Bounding box	ResNet-50	36.2	57.3	39.8
RepPoints (ours)	ResNet-50	38.3	60.0	41.1
Bounding box	ResNet-101	38.4	59.9	42.4
RepPoints (ours)	ResNet-101	40.4	62.0	43.6

• RPDet with RepPoints achieves 42.8 AP on COCO test-dev, on par with Cascade R-CNN and better than existing anchor-free detectors.
• With multi-scale training and testing, RPDet reaches 46.5 AP and 67.4 AP50 on COCO test-dev, surpassing prior detectors.
• Replacing bounding boxes with RepPoints yields improvements over a bounding-box baseline (36.2 AP vs 38.3 AP with ResNet-50).
• Center-point initialization (a special RepPoints case) provides better initial object hypotheses than anchors, contributing to higher performance.
• RepPoints learned points concentrate on extreme or semantic keypoints, enabling finer localization without extra supervision.
• Applying deformable RoI pooling to RepPoints proposals yields additional gains, indicating complementary use with deformable sampling.
• Various differentiable transforming functions from RepPoints to pseudo boxes perform comparably, enabling end-to-end training.