[論文レビュー] A Comprehensive Study of Real-Time Object Detection Networks Across Multiple Domains: A Survey

Elahe Arani, Shruthi Gowda+4 more|arXiv (Cornell University)|Aug 23, 2022

Advanced Neural Network Applications被引用数 16

ひとこと要約

本調査では、アンカーに基づく、キーポイントに基づく、トランスフォーマーベースのアーキテクチャを網羅的に評価する、リアルタイムオブジェクト検出ネットワークの包括的で標準化されたベンチマークを提示する。精度、速度、耐性、エネルギー効率、エッジデバイスへのデプロイメントの観点から評価している。主な発見として、キーポイントベースの検出器は一般化性能に優れ、NanoDetは精度・速度・リソースのバランスが最適であり、バックボーンの選定（例：HarDNet）は、多様なデータセットおよび自動運転や医療分野を含む実世界の応用において、効率性とパフォーマンスに顕著な影響を与えることが判明した。

ABSTRACT

Deep neural network based object detectors are continuously evolving and are used in a multitude of applications, each having its own set of requirements. While safety-critical applications need high accuracy and reliability, low-latency tasks need resource and energy-efficient networks. Real-time detectors, which are a necessity in high-impact real-world applications, are continuously proposed, but they overemphasize the improvements in accuracy and speed while other capabilities such as versatility, robustness, resource and energy efficiency are omitted. A reference benchmark for existing networks does not exist, nor does a standard evaluation guideline for designing new networks, which results in ambiguous and inconsistent comparisons. We, thus, conduct a comprehensive study on multiple real-time detectors (anchor-, keypoint-, and transformer-based) on a wide range of datasets and report results on an extensive set of metrics. We also study the impact of variables such as image size, anchor dimensions, confidence thresholds, and architecture layers on the overall performance. We analyze the robustness of detection networks against distribution shifts, natural corruptions, and adversarial attacks. Also, we provide a calibration analysis to gauge the reliability of the predictions. Finally, to highlight the real-world impact, we conduct two unique case studies, on autonomous driving and healthcare applications. To further gauge the capability of networks in critical real-time applications, we report the performance after deploying the detection networks on edge devices. Our extensive empirical study can act as a guideline for the industrial community to make an informed choice on the existing networks. We also hope to inspire the research community towards a new direction in the design and evaluation of networks that focuses on a bigger and holistic overview for a far-reaching impact.

研究の動機と目的

• 多様な応用分野に跨るリアルタイムオブジェクト検出器の統一されたベンチマークと標準化された評価フレームワークの欠如に対処すること。
• バックボーンの選定、画像サイズ、アンカー寸法、信頼度しきい値、レイヤー種別といったアーキテクチャ変数が検出性能に与える影響を分析すること。
• 分布シフト、自然なノイズ、アドバーシャル攻撃に対する耐性を評価し、安全性が求められるシステムにおけるモデルのキャリブレーションを検証することで、信頼性を確保すること。
• エッジハードウェア（例：Jetsonシリーズ）でのモデルベンチマークと、自動運転および医療分野におけるドメイン特化型の事例研究を通じて、産業応用に向けた実用的知見を提供すること。
• 名目上の精度や速度の向上を超えた包括的設計原理への今後の研究の方向性を示唆すること。持続可能性と実世界応用可能性を重視する。

提案手法

• PASCAL VOCおよびMS COCOデータセット上で、アンカーに基づく、キーポイントに基づく、トランスフォーマーベースのアーキテクチャを含む12種類の検出ネットワークを、複数のバックボーンで学習・評価するための標準化された実験パイプラインを構築した。
• 主な変数（画像サイズ、アンカー寸法、信頼度しきい値、アーキテクチャレイヤー（例：DCN））の効果を分離・分析し、パフォーマンス指標への影響を評価した。
• 自然なノイズ（15種類の汚染タイプと異なる深刻度）とアドバーシャル攻撃の下で、耐性を評価し、性能低下を定量的に測定した。
• デスクトップ（NVIDIA 2080Ti）および埋め込み型（Jetson Xavier/TX2）ハードウェア上で推論時のエネルギーおよびリソース消費量を測定し、エッジデプロイメント可能性を評価した。
• 信頼性図を用いたキャリブレーション分析により、予測の信頼性と信頼性の高い予測の質を評価した。特に安全性が求められる文脈で重要となる。
• 自動運転（BDDおよびCityscapesデータセット）と医療（Kvasir-SEG）のドメイン特化型事例研究を2件実施。再現率とOOD一般化性能に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 アンカーに基づく、キーポイントに基づく、トランスフォーマーベースのアーキテクチャのリアルタイム検出器は、多様なデータセット上で精度、速度、耐性、エネルギー効率の観点からどのように比較されるか？
• RQ2 画像サイズ、アンカー寸法、信頼度しきい値、バックボーンの選定といったアーキテクチャハイパーパrameterが、検出性能と効率に与える影響は何か？
• RQ3 分布シフト、自然な汚染、アドバーシャル攻撃の下で検出ネットワークはどのように動作するか？どのアーキテクチャが最も耐性があるか？
• RQ4 モデルのキャリブレーションは、安全性が求められるアプリケーションにおける信頼性にどのように影響するか？どのアーキテクチャが高リスクなデプロイメントにおいてより信頼できるか？
• RQ5 デスクトップと埋め込み型ハードウェアの間でパフォーマンストレンドにどのような差が生じるか？どのモデルが実世界システムにおけるエッジデプロイメントに最適か？

主な発見

• キーポイントベースの検出器（例：CenterNet、FCOS）はアンカーボックス最適化の欠如により、データセット間で一般化性能に優れ、クロスドメイン設定でアンカーベースのモデルを上回る性能を示した。
• NanoDetは、精度、速度、リソース効率のバランスが最適であり、リアルタイムでエッジデプロイ可能なアプリケーションに最適である。
• バックボーンの中で、HarDNetは精度、推論速度、エネルギー消費量の観点から最適なトレードオフを提供しており、特に低消費電力のエッジデバイスで顕著な効果を示した。
• 自然な汚染下では性能が著しく低下し、FCOSは曇りやぼやけた汚染に対して最も高い耐性を示したが、雪の影響下ではすべてのモデルが機能を失った。
• CenterNetはアドバーシャル摂動に対して最も強い抵抗性を示した。FCOSとDETRも相対的に高い耐性を示し、アドバーシャル防御におけるアーキテクチャ的利点が示唆された。
• SSDは他のモデルよりも優れたキャリブレーションを示したが、キーポイントベースの検出器はより慎重な予測を行う傾向にあり、自動運転などの安全性が求められるシステムでは好ましいとされた。