[論文レビュー] SaccadeNet: A Fast and Accurate Object Detector

Shiyi Lan, Zhou Ren+3 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Neural Network Applications参考文献 32被引用数 4

ひとこと要約

SaccadeNet は、人間の注視動揺にインspiredされた高速で高精度なオブジェクト検出器であり、粗いから細かい局所化のため、順次的にオブジェクトの中心とコーナーのキーポイントに注目する。MS COCO において、DLA-34 と ResNet-18 バックボーンを用いて、28 FPS 時に 40.4% mAP、118 FPS 時に 30.5% mAP を達成し、グループ化のオーバーヘッドなしに中心とコーナー特徴を同時に予測することで、既存のすべてのリアルタイム検出器を上回る性能を発揮する。

ABSTRACT

Object detection is an essential step towards holistic scene understanding. Most existing object detection algorithms attend to certain object areas once and then predict the object locations. However, neuroscientists have revealed that humans do not look at the scene in fixed steadiness. Instead, human eyes move around, locating informative parts to understand the object location. This active perceiving movement process is called extit{saccade}. %In this paper, Inspired by such mechanism, we propose a fast and accurate object detector called extit{SaccadeNet}. It contains four main modules, the \cenam, the \coram, the \atm, and the \aggatt, which allows it to attend to different informative object keypoints, and predict object locations from coarse to fine. The \coram~is used only during training to extract more informative corner features which brings free-lunch performance boost. On the MS COCO dataset, we achieve the performance of 40.4\% mAP at 28 FPS and 30.5\% mAP at 118 FPS. Among all the real-time object detectors, %that can run faster than 25 FPS, our SaccadeNet achieves the best detection performance, which demonstrates the effectiveness of the proposed detection mechanism.

研究の動機と目的

• 人間の視覚的注視動揺を模倣し、情報をもつオブジェクトキーポイントに順次注目することで、リアルタイムオブジェクト検出器を開発すること。
• 中心とコーナー特徴の共同予測を活用することで、推論速度を損なわずに検出精度を向上させること。
• キーポイントベースの検出器で使用される時間のかかるグループ化アルゴリズムの必要性を排除するために、中心とコーナーを同時に予測すること。
• 中心とコーナーのキーポイントからの特徴統合が、局所化および分類性能に与える影響を調査すること。
• アクティブでマルチステージのキーポイント階層への注目が、リアルタイム環境における検出精度を向上させることを示すこと。

提案手法

• 4モジュールアーキテクチャ（中心注目モジュール、コーナー注目モジュール、注目転送モジュール、集約注目モジュール）を導入する。
• 中心注目モジュールでオブジェクトの中心とカテゴリを予測し、その後に注目転送モジュールで粗いコーナー位置を予測する。
• 訓練時にコーナー注目モジュールを活用して境界特徴の学習を強化し、推論コストを増加させずに局所化精度を向上させる。
• 集約注目モジュールを用いて、中心とコーナーのキーポイントからの特徴を統合し、ボクシングボックスの予測を精緻化する。
• グループ化ステップを回避するために、中心とコーナーの位置を同時に回帰する。
• 補間を用いて対角線および中点を計算し、キーポイントの監視を向上させる。

実験結果

リサーチクエスチョン

• RQ1 人間の注視動揺を模倣する検出器は、オブジェクト検出における速度と精度の両方を向上させることができるか？
• RQ2 中心とコーナーのキーポイントを共同で予測することで、後処理のグループ化処理の必要性が排除され、高い性能を維持できるか？
• RQ3 中心とコーナーのキーポイントからの特徴統合は、局所化精度の向上にどの程度効果的か？
• RQ4 集約注目（Aggregation-Attn）によるボクシングボックスの反復的精緻化は、速度を犠牲にすることで検出性能が向上するか？
• RQ5 コーナー特徴は分類性能を低下させることなく、局所化を向上させることができるか？

主な発見

• SaccadeNet は、DLA-34 と ResNet-18 バックボーンを用いて、MS COCO で 28 FPS 時に 40.4% mAP、118 FPS 時に 30.5% mAP を達成し、既存のすべてのリアルタイム検出器を上回る性能を発揮する。
• 集約注目モジュールは、特に高い IoU 閾値（例：mAP@90 が 18.96% から 21.07% に上昇）において局所化性能を顕著に向上させる。
• コーナー特徴のみを用いることで、中心特徴のみを用いる場合に比べて mAP@90 が 1.35 パcentage ポints 向上し、境界に敏感な特徴の重要性を示している。
• 複数の集約注目モジュールによる反復的精緻化により、mAP@90 は 18.96% から 21.32% に向上するが、速度が低下するため、効率性を考慮して単一モジュールの使用が妥当である。
• 分類精度の精緻化のための Aggregation-Attn-Cls モジュールを追加すると、性能が低下する（mAP@50 が 71.02% から 52.26% に低下）ため、コーナー特徴は分類にほとんど寄与しないことが示された。
• コーナー注目モジュールは訓練時に無料のパフォーマンス向上をもたらし、推論時間の増加なしに局所化精度を向上させる。