[論文レビュー] QueryDet: Cascaded Sparse Query for Accelerating High-Resolution Small Object Detection

Chenhongyi Yang, Zehao Huang+1 more|arXiv (Cornell University)|Mar 16, 2021

Advanced Neural Network Applications参考文献 73被引用数 21

ひとこと要約

QueryDetは、低解像度特徴量上で粗いオブジェクト位置を予測した後、その位置にのみ高解像度特徴量でスパース計算を適用する段階的スパースクエリ機構（CSQ）を提案する。これにより、COCOでは最大3.0倍、VisDroneでは2.3倍の計算量削減が達成され、mAP-smallは2.0向上し、最先端の性能を達成した。

ABSTRACT

While general object detection with deep learning has achieved great success in the past few years, the performance and efficiency of detecting small objects are far from satisfactory. The most common and effective way to promote small object detection is to use high-resolution images or feature maps. However, both approaches induce costly computation since the computational cost grows squarely as the size of images and features increases. To get the best of two worlds, we propose QueryDet that uses a novel query mechanism to accelerate the inference speed of feature-pyramid based object detectors. The pipeline composes two steps: it first predicts the coarse locations of small objects on low-resolution features and then computes the accurate detection results using high-resolution features sparsely guided by those coarse positions. In this way, we can not only harvest the benefit of high-resolution feature maps but also avoid useless computation for the background area. On the popular COCO dataset, the proposed method improves the detection mAP by 1.0 and mAP-small by 2.0, and the high-resolution inference speed is improved to 3.0x on average. On VisDrone dataset, which contains more small objects, we create a new state-of-the-art while gaining a 2.3x high-resolution acceleration on average. Code is available at https://github.com/ChenhongyiYang/QueryDet-PyTorch.

研究の動機と目的

• 高解像度特徴マップにおける小オブジェクト検出の高コストを軽減すること。
• 特徴マップピラミッドベースの検出器において、冗長な計算を削減し、小オブジェクトが存在する可能性の高い領域に限定すること。
• 小オブジェクトの検出精度を維持しつつ、推論を著しく高速化すること。
• 自律走行車両などのリアルタイムシステムへの小オブジェクト検出器の効率的導入を可能にすること。
• さまざまな検出器、バックボーン、および高速化技術と互換性を持つ汎用手法の設計すること。

提案手法

• QueryDetは、低解像度特徴マップ上で粗いオブジェクト位置を予測する段階的スパースクエリ（CSQ）機構を用いる。
• 予測された位置が、高解像度特徴量におけるスパース計算を誘導するクエリとして機能し、全結合畳み込み処理を回避する。
• スパース畳み込みを検出ヘッドに適用し、各クエリ位置の周囲（例：5×5）のコンテキストパッチ内の特徴量のみを処理する。
• クエリヘッドは、スパース領域における局所化の信頼度を向上させるためにファーカス損失で訓練される。
• この手法は、ワンステージ（例：RetinaNet、FCOS）およびツーステージ（例：Faster R-CNN）検出器の両方と互換性を持つ。
• このアプローチはモジュラーであり、軽量バックボーン、量子化、知識蒸留と組み合わせて利用可能である。

実験結果

リサーチクエスチョン

• RQ1 クエリベースの機構は、小オブジェクト検出精度を損なわずに高解像度特徴マップにおける計算量を削減できるか？
• RQ2 計算高速化を実現しつつ、高い検出APを維持するために必要なコンテキスト（例：パッチサイズ）はどの程度か？
• RQ3 提案されたCSQ機構は、アンカーフリーおよびツーステージ検出器を含む、さまざまな検出器アーキテクチャに一般化可能か？
• RQ4 小オブジェクトの密度が高いデータセット（例：VisDrone）において、この手法はどの程度の性能を示すか？
• RQ5 軽量バックボーンなどの他の高速化技術と、この手法をどの程度まで組み合わせられるか？

主な発見

• COCOでは、高解像度特徴量を用いた場合、mAPは1.0向上、mAP-smallは2.0向上し、高解像度推論における平均3.0倍の高速化が達成された。
• VisDroneでは、mAP-smallの新しい最先端性能を達成し、高解像度検出における平均2.3倍の高速化が実現された。
• MobileNet V2を用いた場合、高解像度検出における平均4.1倍の高速化が達成され、エッジデプロイメントの可能性が強く示された。
• 最先端のアンカーフリー検出器であるFCOSに適用した場合、mAP-smallが向上し、高解像度推論で1.8倍の高速化が達成された。
• Faster R-CNNでは、CSQにより推論速度が17.57から19.03 FPSに向上し、mAP-smallも22.98から22.98にわずかに低下するにとどまった。これは、ツーステージ検出器においても有効であることを確認した。
• 可視化結果から、クエリヒートマップは小オブジェクトを効果的に局所化しているが、失敗事例として大規模オブジェクトに誤検出が発生する場合や、コンテキスト不足による検出漏れが見られた。