[論文レビュー] RepPoints V2: Verification Meets Regression for Object Detection

Yihong Chen, Zheng Zhang+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 32被引用数 70

ひとこと要約

RepPoints v2 は検証タスクを回帰ベースの検出器に補助分岐として組み込み、局在化と検出精度を向上させ、COCO で約 2.0 mAP の gains および single model による COCO test-dev で 52.1 mAP を達成します。

ABSTRACT

Verification and regression are two general methodologies for prediction in neural networks. Each has its own strengths: verification can be easier to infer accurately, and regression is more efficient and applicable to continuous target variables. Hence, it is often beneficial to carefully combine them to take advantage of their benefits. In this paper, we take this philosophy to improve state-of-the-art object detection, specifically by RepPoints. Though RepPoints provides high performance, we find that its heavy reliance on regression for object localization leaves room for improvement. We introduce verification tasks into the localization prediction of RepPoints, producing RepPoints v2, which provides consistent improvements of about 2.0 mAP over the original RepPoints on the COCO object detection benchmark using different backbones and training methods. RepPoints v2 also achieves 52.1 mAP on COCO exttt{test-dev} by a single model. Moreover, we show that the proposed approach can more generally elevate other object detection frameworks as well as applications such as instance segmentation. The code is available at https://github.com/Scalsol/RepPointsV2.

研究の動機と目的

• 検証が検出器のフローを乱さず、回帰ベースの物体検出器を改善できるか検討する。
• 回帰ベースの局在化を補完する効果的な検証タスクを同定する（例：コーナー検証、ボックス内前景）。
• 検証の手がかりを補助ブランチとして統合する一般的な融合フレームワークを提案する。
• COCO 上でバックボーンとトレーニング regime をまたいだ RepPoints v2 の改善を示す。
• 他の検 detectors やインスタンス分割などのタスクへの一般化性を示す。

提案手法

• 補助的な検証ブランチ（コーナー検証とボックス内前景検証）をメイン回帰ヘッドのサイドブランチとして導入する。
• RepPoints の explicit-corners variant を用い、二つのコーナーポイントで境界ボックスを定義し、検証 cue との互換融合を可能にする。
• 検証出力を1x1 埋め込みと要素ごとの加算でメインの特徴マップと融合し、マルチタスク学習と特徴強化を実現する。
• 回帰予測と併用した検証スコアを活用してコーナー位置を洗練させるジョイント推論を適用する。
• 多タスク損失 L = L_RepPoints + λ1 L_corner + λ2 L_foreground を用いて訓練する。λ1=0.25 かつ λ2=0.1。
• 融合手法を FCOS などの他の検出器や Dense RepPoints のようなインスタンス分割へ拡張し、一般性を示す。

実験結果

リサーチクエスチョン

• RQ1 検証タスクを回帰ベースの検出器と中間表現を崩さずに効果的に統合できるか。
• RQ2 どの形式の検証（コーナーベース、ボックス内前景）が局在化と検出性能を最も改善するか。
• RQ3 融合（マルチタスク学習、特徴強化、ジョイント推論）が全体の向上にどう寄与するか。
• RQ4 RepPoints v2 は他の検出器やインスタンス分割のようなタスクへ移植可能か。

主な発見

Method	methodology	backbone	AP	AP50	AP60	AP70	AP80	AP90
RetinaNet [16]	ver.+reg.	ResNeXt-101	40.0	60.9	56.4	48.7	35.8	14.6
CornerNet [13]	verification	HG-104	40.6	56.1	52.0	46.8	38.8	23.4
RepPoints* [30]	regression	ResNet-50	39.1	58.8	54.8	48.0	35.5	14.4
RepPoints v2	ver.+reg.	ResNet-50	41.0	59.9	55.9	49.1	37.2	18.5

• RepPoints v2 は元の RepPoints と比較して、COCO 上でバックボーンおよびトレーニング方法を変えても約 2.0 mAP の改善を達成。
• RepPoints v2 は ResNeXt-101-DCN モデル（マルチスケール testing を含む）で COCO test-dev が 52.1 mAP に到達。
• コーナー検証だけで約 1.4 mAP の gains を提供し、主に高 IoU（AP90）を引き上げ、AP50 はあまり変わらない；前景検証は約 0.5 mAP を低 IoU で主に追加。
• 完全な RepPoints v2 の融合（マルチタスク、特徴強化、ジョイント推論）は、検証モジュールなしのベースラインより全体で約 1.9 mAP の改善をもたらす。
• このアプローチを FCOS に適用すると ResNet-50 で COCO test-dev において 1.3 mAP の改善；検証を用いた Dense RepPoints は COCO test-dev で Dense マスク AP を 1.3 上げる。