[論文レビュー] VarifocalNet: An IoU-aware Dense Object Detector

Haoyang Zhang, Ying Wang+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications参考文献 51被引用数 32

ひとこと要約

VFNet は IoU-aware classification scores (IACS) を導入し、Varifocal Loss で訓練して物体の存在と位置合わせを共同でモデル化し、密集検出器のランク付けを改善し、COCO の最先端結果を達成します。

ABSTRACT

Accurately ranking the vast number of candidate detections is crucial for dense object detectors to achieve high performance. Prior work uses the classification score or a combination of classification and predicted localization scores to rank candidates. However, neither option results in a reliable ranking, thus degrading detection performance. In this paper, we propose to learn an Iou-aware Classification Score (IACS) as a joint representation of object presence confidence and localization accuracy. We show that dense object detectors can achieve a more accurate ranking of candidate detections based on the IACS. We design a new loss function, named Varifocal Loss, to train a dense object detector to predict the IACS, and propose a new star-shaped bounding box feature representation for IACS prediction and bounding box refinement. Combining these two new components and a bounding box refinement branch, we build an IoU-aware dense object detector based on the FCOS+ATSS architecture, that we call VarifocalNet or VFNet for short. Extensive experiments on MS COCO show that our VFNet consistently surpasses the strong baseline by $\sim$2.0 AP with different backbones. Our best model VFNet-X-1200 with Res2Net-101-DCN achieves a single-model single-scale AP of 55.1 on COCO test-dev, which is state-of-the-art among various object detectors.Code is available at https://github.com/hyz-xmaster/VarifocalNet .

研究の動機と目的

• プレーンな分類スコアを超えて、密集検出子ボックスの正確なランク付けを動機づける。
• 物体の存在と局所化の精度を融合する IoU-aware な分類スコア（IACS）を提案する。
• 非対称重み付けで IACS を予測するために検出器を訓練する新しい損失（Varifocal Loss）を開発する。
• IACS の予測とボックスの refinement のために星型の境界ボックス特徴表現を導入する。
• これらの要素を FCOS+ATSS ベースのアーキテクチャに統合して VarifocalNet (VFNet) を形成し、COCO で評価する。

提案手法

• IACS を、真のクラス位置が予測ボックスと真のボックス間の IoU を保持し、他の位置はゼロとなるスカラーとして定義する。
• Varifocal Loss (VFL) を導入する。これは、負例を非対称にダウンスケールし、高品質な正例をターゲット q（正例の gt_IoU）を用いてアップウェイトする動的にスケールされた二値交差エントロピー損失である。
• IACS prediction のために、変形可能畳み込みを用いた九つの固定サンプリング点を使用する星型境界ボックス表現を採用し、ボックスの幾何と文脈をエンコードする。
• 初期ボックスを残差形式で refine する距離スケーリング因子を予測する境界ボックス refinement ブランチを追加する。
• FCOS+ATSS から centerness ブランチを削除し、IACS予測（分類）用と境界ボックスの局在化・ refinement 用の 2 つのヘッドを備えた VFNet を構築する。

実験結果

リサーチクエスチョン

• RQ1 IoU-aware な分類スコア（IACS）は、従来の分類や局所化信号の積よりも密集検出器のランク付け基盤としてより信頼できるものになるだろうか。
• RQ2 Varifocal Loss は IACS の予測における訓練ダイナミクスと最終的な検出性能を改善するだろうか。
• RQ3 星型の固定点特徴表現は IACS の予測と refinement のためのボックス幾何と文脈をより良く捉えるだろうか。
• RQ4 VFNet は COCO における AP と効率の点で強力なベースライン（例：FCOS+ATSS）と比較してどうか。
• RQ5 高度なバックボーンと訓練スキームを用いた VFNet-X 変種で単一モデルの最先端 COCO 結果を達成することは可能か。

主な発見

• IACS は従来のスコアや信号の積よりも検出の優れたランク付け基盤を提供する。
• Varifocal Loss は FCOS+ATSS より AP を改善し、連続的な IACS ターゲットの効果的な学習を可能にする。
• 星型境界ボックス特徴と refinement ブランチは、ボックス幾何と文脈を捉えることでさらなる AP 増をもたらす。
• VFNet は backbone 全体で約 2.0 AP の改善をもって FCOS+ATSS を一貫して上回り、 VFNet-X-1200 は COCO test-dev で 55.1 AP を達成した。
• 強力なバックボーン（例：Res2Net-101-DCN）を用いた VFNet-X は COCO test-dev で単一モデル単一スケールの最先端性能を達成する（55.1 AP）。
• Varifocal Loss は検出器全般（ResNet-50、RetinaNet、FoveaBox、RepPoints、ATSS）で一般的に有益であり、実験では Generalized Focal Loss を上回る。