[論文レビュー] CornerNet: Detecting Objects as Paired Keypoints

Hei Law, Jia Deng|arXiv (Cornell University)|Aug 3, 2018

Advanced Neural Network Applications参考文献 48被引用数 147

ひとこと要約

CornerNet は、単一ネットワークでコーナーポーリングと連想埋め込みを用い、オブジェクトを左上と右下のコーナーのペアとして検出し、アンカーボックスなしで COCO のワンステージ系の強力な結果を達成します。

ABSTRACT

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network. By detecting objects as paired keypoints, we eliminate the need for designing a set of anchor boxes commonly used in prior single-stage detectors. In addition to our novel formulation, we introduce corner pooling, a new type of pooling layer that helps the network better localize corners. Experiments show that CornerNet achieves a 42.2% AP on MS COCO, outperforming all existing one-stage detectors.

研究の動機と目的

• 非効率性と設計の複雑さのために、ワンステージ検出器からアンカーボックスを取り除くことを動機づける。
• カテゴリ固有のヒートマップを用いて、オブジェクトを対になったキーポイント（左上と右下のコーナー）として検出することを提案する。
• 局所的な証拠が弱い部分でコーナー位置推定を改善するためにコーナー pooling を導入する。
• 同じオブジェクトに属するコーナーのペアをグループ化する連想埋め込みを開発する。
• MS COCO で最先端のワンステージ性能を示し、主要な構成要素のアブレーションを提供する。

提案手法

• カテゴリごとに2つのヒートマップを予測する：左上コーナー用と右下コーナー用。
• 検出された各コーナーに対して1D埋め込みを予測し、プル/プッシュ損失を介して同じオブジェクトのペアのコーナーをグループ化する。
• ダウンサンプリング後の再マッピングの後、コーナーオフセットを用いてコーナー位置を精緻化する。
• 水平および垂直方向の最大プーリングと結果の合計によって、遠方の境界情報を集約するコーナー pooling を提案する。
• ヒートマップ、埋め込み、オフセットの予測モジュールを備えた、バックボーンとして hourglass ネットワークを採用する。
• 近傍のネガティブを低重みづけするためのオブジェクト依存の半径と焦点損失の変種で訓練する。

実験結果

リサーチクエスチョン

• RQ1 アンカーボックスを使う代わりにコーナーキーポイントをペアにして、オブジェクトを正確に検出できるか？
• RQ2 コーナー pooling は bounding box のコーナーの局在化と全体の検出精度を改善するか？
• RQ3 同じオブジェクトのペアのコーナーを正しくグループ化する連想埋め込みはどの程度有効か？
• RQ4 コーナーオフセットの学習と変更された損失項が COCO の性能に与える影響は？

主な発見

Method	Backbone	AP	AP50	AP75	APs	APm	APl	AR1	AR10	AR100	ARs	ARm	ARl
CornerNet511 (single scale)	Hourglass-104	40.6	56.4	43.2	19.1	42.8	54.3	35.3	54.7	59.4	37.4	62.4	77.2
CornerNet511 (multi scale)	Hourglass-104	42.2	57.8	45.2	20.7	44.8	56.6	36.6	55.9	60.3	39.5	63.2	77.3
RetinaNet	ResNet-101	39.1	59.1	42.3	21.8	42.7	50.2	-	-	-	-	-	-
Cascade R-CNN (baseline)	ResNet-101	42.8	62.1	46.3	23.7	45.5	55.2	-	-	-	-	-	-

• コーナー pooling は COCO バリデーションで AP を約 2.0 ポイント大幅に改善する。
• ネガティブ地点に対するオブジェクト依存のペナルティ削減を使用すると、固定半径戦略より顕著な AP 増加が得られる。
• コーナー pooling は中型および大型オブジェクトの性能を小型よりも高める。
• コーナーベース予測を備えた Hourglass バックボーンは、FPN ベースのバックボーンとアンカーボックス検出器より AP で上回る。
• COCO test-dev で CornerNet はすべてのワンステージ検出器を上回り、多くのツーステージ検出器と競合する。
• GT ヒートマップだけで、コーナー検出が主なボトルネックであることを示唆しており、真データヒートマップが与えられた場合は約 73.1 AP。