[論文レビュー] CornerNet-Lite: Efficient Keypoint Based Object Detection

Hei Law, Yun Teng+2 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Neural Network Applications参考文献 66被引用数 164

ひとこと要約

CornerNet-LiteはCornerNet-SaccadeとCornerNet-Squeezeを組み合わせて、キーポイントベースの検出の効率を向上させ、COCO上で従来のリアルタイム検出器と同等またはそれ以上のAPを競争力のある形で達成し、推論をより速くしている。

ABSTRACT

Keypoint-based methods are a relatively new paradigm in object detection, eliminating the need for anchor boxes and offering a simplified detection framework. Keypoint-based CornerNet achieves state of the art accuracy among single-stage detectors. However, this accuracy comes at high processing cost. In this work, we tackle the problem of efficient keypoint-based object detection and introduce CornerNet-Lite. CornerNet-Lite is a combination of two efficient variants of CornerNet: CornerNet-Saccade, which uses an attention mechanism to eliminate the need for exhaustively processing all pixels of the image, and CornerNet-Squeeze, which introduces a new compact backbone architecture. Together these two variants address the two critical use cases in efficient object detection: improving efficiency without sacrificing accuracy, and improving accuracy at real-time efficiency. CornerNet-Saccade is suitable for offline processing, improving the efficiency of CornerNet by 6.0x and the AP by 1.0% on COCO. CornerNet-Squeeze is suitable for real-time detection, improving both the efficiency and accuracy of the popular real-time detector YOLOv3 (34.4% AP at 30ms for CornerNet-Squeeze compared to 33.0% AP at 39ms for YOLOv3 on COCO). Together these contributions for the first time reveal the potential of keypoint-based detection to be useful for applications requiring processing efficiency.

研究の動機と目的

• アンカーを使用せずに、キーポイントベースの物体検出における速度と精度のトレードオフを動機づけ、解決する。
• オフラインとリアルタイムのパフォーマンスを改善するためのCornerNetの2つの効率的なバリアントを提案する。
• サッカードとコンパクトなバックボーンが、最小限のAP損失またはわずかな gains で大幅なスピードアップをもたらすことを示す。
• CornerNet-LiteをCOCOで評価し、YOLOv3とCornerNetを比較する。
• リアルタイムまたはほぼリアルタイム推論を実現する実用的なトレーニングとアーキテクチャの適応を強調する。

提案手法

• 注意ベースのダウンサケール済みパスを用いて物体位置を提案し、その後、高解像度のクロップを選択的に並列処理するCornerNet-Saccadeを導入する。
• SqueezeNetとMobileNetsに着想を得たコンパクトなhourglassバックボーンを用いて、ピクセル当たりの計算を削減するCornerNet-Squeezeを開発する。
• サッカードには深さと効率のバランスを取るためにhourglass-54バックボーンを採用する。
• 部分的な物体や重なるクロップを扱うためにSoft-NMSとboundary-crop抑制を使用する。
• バリアント間で角ヒートマップ、埋め込み、オフセットの同じCornerNet損失を用いて訓練する。
• 一貫したハードウェア設定を用いてCOCOで推論時間と精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 サッカードのような注意メカニズムは、処理するピクセル数を削減してもCornerNetの精度を犠牲にしないか。
• RQ2 コンパクトなバックボーン（CornerNet-Squeeze）は、APを維持または向上させつつリアルタイム性能を提供できるか。
• RQ3 CornerNet-SaccadeとCornerNet-Squeezeは、COCOにおける速度と精度の点で元のCornerNetとYOLOv3と比較してどうか。
• RQ4 サッカードを超コンパクトなバックボーンと組み合わせることは、リアルタイム検出に有益か、それとも有害か。
• RQ5 これらのバリアントの訓練効率とメモリ使用量のトレードオフはどうか。

主な発見

Detector	Time	AP	AP^s	AP^m	AP^l	AP^att
CornerNet-Squeeze	30ms	34.4	13.7	36.5	47.4
YOLOv3	39ms	33.0	18.3	35.4	41.9
CornerNet (single)	211ms	40.6	19.1	42.8	54.3
CornerNet (multi)	1147ms	42.2	20.7	44.8	56.6
CornerNet-Saccade	190ms	43.2	24.4	44.6	57.3

• CornerNet-SaccadeはCornerNetより6倍の速度向上を達成し、COCOでAPを1%向上させた（APは42.2%から43.2%へ）。
• CornerNet-Squeezeは30msで34.4%のAPを達成し、COCOでYOLOv3の33.0%を上回る（39ms） 。
• CornerNet-Liteはオフラインの効率を改善しつつ高い精度を維持し、リアルタイム性能を競争力のあるAPで実現する。
• CornerNet-Saccadeは、複数のサイズ（小・中・大）にわたる物体位置の注意マップを予測するために縮小画像を使用する。
• 注意を用いない組み合わせのCornerNet-Saccade-Squeezeは容量制限のためパフォーマンスが悪化する；サッカードは推定精度の高い注意マップが必要。