[論文レビュー] BorderDet: Border Feature for Dense Object Detection

Han Qiu, Yuchen Ma+3 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 35被引用数 15

ひとこと要約

BorderDetは、物体境界の極端な点からの境界特徴を明示的に活用することで、密なオブジェクト検出を向上させる新しい特徴抽出演算子、BorderAlignを提案する。FCOS や FPN などの検出器に BorderAlign を統合することで、ResNet-50 を用いた場合に AP を 2.8 ポイント向上（41.4 に）し、COCO で ResNeXt-101-DCN バックボーンを用いた場合に 50.3 AP を達成し、最先端の性能を実現した。

ABSTRACT

Dense object detectors rely on the sliding-window paradigm that predicts the object over a regular grid of image. Meanwhile, the feature maps on the point of the grid are adopted to generate the bounding box predictions. The point feature is convenient to use but may lack the explicit border information for accurate localization. In this paper, We propose a simple and efficient operator called Border-Align to extract "border features" from the extreme point of the border to enhance the point feature. Based on the BorderAlign, we design a novel detection architecture called BorderDet, which explicitly exploits the border information for stronger classification and more accurate localization. With ResNet-50 backbone, our method improves single-stage detector FCOS by 2.8 AP gains (38.6 v.s. 41.4). With the ResNeXt-101-DCN backbone, our BorderDet obtains 50.3 AP, outperforming the existing state-of-the-art approaches. The code is available at (https://github.com/Megvii-BaseDetection/BorderDet).

研究の動機と目的

• 密なオブジェクト検出器における点ベースの特徴表現の限界、特に正確な局所化に必要な境界情報が欠落している点を解消すること。
• RoIベースや可変畳み込み手法で一般的に見られる、冗長で背景に影響を受けやすい特徴抽出を、重要な境界点に限定することで低減すること。
• アンカーベースおよびアンカーフリー検出器の両方に対応できる、軽量で効率的な特徴精錬モジュールを設計すること。
• 物体境界の極端な点を明示的にモデル化することで、分類信頼度とボクセル境界ボックス回帰の両方の精度を向上させること。
• 複雑なデータ拡張やモデルアンサンブルに依存せずに、COCO で最先端の性能を達成すること。

提案手法

• 予測されたバウンディングボックスの中心点と、その四隅（左上、右上、左下、右下）の四つの極端な点の合計五つのポイントから特徴をサンプリングする特徴抽出演算子 BorderAlign を提案する。
• これらの五つの空間的位置で双線形補間を用いて、境界関連の情報を強調した高品質な特徴を特徴マップから抽出する。
• Enhanced border features を用いて分類スコアとバウンディングボックス回帰を精錬する新しい検出器アーキテクチャである BorderDet を構築し、BorderAlign を統合する。
• FCOS や FPN などの既存の検出器に、バックボーンや学習プロトコルを変更せずに、プラグインモジュールとして BorderAlign を適用する。
• 元の点特徴と境界特徴を適応的に組み合わせるための学習可能な重み付け機構を採用し、表現を向上させる。
• ワンステージおよびツーステージ検出器（RetinaNet や Faster R-CNN を含む）に対応できることを示し、広範な互換性を確認した。

実験結果

リサーチクエスチョン

• RQ1 特に極端な点を明示的にモデル化することで、密なオブジェクト検出器における局所化精度が向上するか？
• RQ2 全バウンディングボックスにわたる特徴プーリングに比べ、境界点に限定したスパースな特徴抽出戦略が、効率性と精度の両面で優れているか？
• RQ3 BorderAlign のような軽量で微分可能であるモジュールが、さまざまな最先端の検出器に効果的に統合可能で、一貫した性能向上をもたらすか？
• RQ4 境界特徴は、特に高域 IoU 閾値（例：0.9）において、分類と回帰性能の向上にどの程度寄与するか？
• RQ5 マルチスケールテストや複雑なデータ拡張なしに、BorderDet は最先端の性能を達成できるか？

主な発見

• ResNet-50 バックボーンを用いた場合、FCOS に対して AP を 2.8 ポイント向上（38.6 から 41.4 に）し、局所化と分類の両面で顕著な向上を示した。
• ResNeXt-101-DCN バックボーンを用いた場合、COCO テストデブで 50.3 AP を達成し、ワンステージおよびツーステージ検出器における新たな最先端性能を樹立した。
• IoU > 0.5 のバウンディングボックス予測数は FCOS と比較して約 30% 増加し、IoU > 0.9 の予測数はほぼ 2 倍に増加した。
• RetinaNet に BorderDet モジュールを追加した場合、AP が 2.3 ポイント向上（36.1 から 38.4 に）し、ワンステージ検出器への汎用性が顕著に示された。
• ツーステージの FPN ベース検出器では、提案された BorderRPN モジュールにより AP が 3.6 ポイント向上（37.1 から 40.7 に）し、ツーステージ設定でも有効性が確認された。
• 90k 学習イテレーションのみで BorderDet は 43.2 AP を達成し、標準設定下で FSAF や CornerNet ようなアンカーフリー手法を上回った。