[논문 리뷰] A Comprehensive Study of Real-Time Object Detection Networks Across Multiple Domains: A Survey

Elahe Arani, Shruthi Gowda외 4명|arXiv (Cornell University)|2022. 08. 23.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 종합적 설문조사에서는 앵커 기반, 키포인트 기반, 트랜스포머 기반 아키텍처 전반에 걸쳐 실시간 객체 검출 네트워크를 정량화하고 표준화된 벤치마크를 제시한다. 정확도, 속도, 내성, 에너지 효율성, 엣지 장치에의 배포를 평가한다. 주요 발견 결과로는 키포인트 기반 검출기가 더 나은 일반화 성능을 보이며, NanoDet가 정확도-속도-자원 소비의 최적 균형을 제공하고, 백본 선택(예: HarDNet)이 다양한 데이터셋과 실세계 응용 분야(자율주행, 헬스케어 등)에서 효율성과 성능에 결정적인 영향을 미친다.

ABSTRACT

Deep neural network based object detectors are continuously evolving and are used in a multitude of applications, each having its own set of requirements. While safety-critical applications need high accuracy and reliability, low-latency tasks need resource and energy-efficient networks. Real-time detectors, which are a necessity in high-impact real-world applications, are continuously proposed, but they overemphasize the improvements in accuracy and speed while other capabilities such as versatility, robustness, resource and energy efficiency are omitted. A reference benchmark for existing networks does not exist, nor does a standard evaluation guideline for designing new networks, which results in ambiguous and inconsistent comparisons. We, thus, conduct a comprehensive study on multiple real-time detectors (anchor-, keypoint-, and transformer-based) on a wide range of datasets and report results on an extensive set of metrics. We also study the impact of variables such as image size, anchor dimensions, confidence thresholds, and architecture layers on the overall performance. We analyze the robustness of detection networks against distribution shifts, natural corruptions, and adversarial attacks. Also, we provide a calibration analysis to gauge the reliability of the predictions. Finally, to highlight the real-world impact, we conduct two unique case studies, on autonomous driving and healthcare applications. To further gauge the capability of networks in critical real-time applications, we report the performance after deploying the detection networks on edge devices. Our extensive empirical study can act as a guideline for the industrial community to make an informed choice on the existing networks. We also hope to inspire the research community towards a new direction in the design and evaluation of networks that focuses on a bigger and holistic overview for a far-reaching impact.

연구 동기 및 목표

• 다양한 응용 분야에서 실시간 객체 검출기의 통합된 벤치마크와 표준화된 평가 프레임워크의 부재 문제를 해결하기 위해.
• 백본 선택, 이미지 크기, 앵커 치수, 신뢰도 임계값, 레이어 유형 등의 아키텍처 변수가 검출 성능에 미치는 영향을 분석하기 위해.
• 분포 이탈, 자연적 손상, 악성 공격에 대한 내성 평가와 함께, 안전이 중요한 시스템에서의 신뢰성 확보를 위한 모델 校정(캘리브레이션)을 수행하기 위해.
• 자율주행 및 헬스케어 분야의 도메인 특화 사례 연구를 수행하고, 엣지 하드웨어(예: Jetson 시리즈)에서의 모델 벤치마크를 통해 산업적 배포를 위한 실질적 통찰을 제공하기 위해.
• 명시적 정확도와 속도 향상 외에도 종합적 설계 원칙으로 향후 연구를 이끌어내기 위해 지속 가능성과 실세계 적용 가능성을 강조하기 위해.

제안 방법

• PASCAL VOC 및 MS COCO 데이터셋에서 다수의 백본을 사용해 12개의 검출 네트워크(앵커 기반, 키포인트 기반, 트랜스포머 기반)를 훈련 및 평가하기 위한 표준화된 실험 파이프라인을 수립하였다.
• 핵심 변수인 이미지 크기, 앵커 치수, 신뢰도 임계값, 아키텍처 레이어(예: DCN)의 영향을 분리하여 성능 지표에 미치는 영향을 분석하였다.
• 손상된 COCO 데이터셋과 악성 공격 하에서의 내성 평가를 수행하였으며, 15종의 손상 유형과 다양한 심각도 수준에서 성능 저하 정도를 정량화하였다.
• 데스크톱(NVIDIA 2080Ti) 및 임베디드(Jetson Xavier/TX2) 하드웨어에서 추론 시 에너지 및 자원 소비를 측정하여 엣지 장치에의 배포 가능성을 평가하였다.
• 신뢰도 다이어그램을 사용해 校정 분석을 수행하여 예측의 신뢰도와 신뢰성을 평가하였으며, 특히 안전이 중요한 맥락에서의 중요성을 고려했다.
• 두 가지 도메인 특화 사례 연구를 수행하였다: 자율주행 분야에서는 BDD 및 Cityscapes 데이터셋을, 헬스케어 분야에서는 Kvasir-SEG 데이터셋을 사용하여 재현율과 OOD 일반화 능력을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 앵커 기반, 키포인트 기반, 트랜스포머 기반 아키텍처의 실시간 검출기들이 다양한 데이터셋에서 정확도, 속도, 내성, 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ2 이미지 크기, 앵커 치수, 신뢰도 임계값, 백본 선택 등의 아키텍처 하이퍼파라미터가 검출 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 분포 이탈, 자연적 손상, 악성 공격 상황에서 검출 네트워크의 성능은 어떻게 되며, 어떤 아키텍처가 가장 높은 내성성을 보이는가?
• RQ4 모델 校정은 안전이 중요한 응용 분야에서 신뢰성에 어떤 영향을 미치며, 어떤 아키텍처가 고위험 배포 환경에서 가장 신뢰할 수 있는가?
• RQ5 데스크톱과 임베디드 하드웨어 간의 성능 추세는 어떻게 다름가? 어떤 모델이 실세계 시스템의 엣지 배포에 가장 적합한가?

주요 결과

• 키포인트 기반 검출기(예: CenterNet, FCOS)는 앵커 박스 최적화가 없어 데이터셋 간 일반화 성능이 더 뛰어나며, 교차 도메인 설정에서 앵커 기반 모델보다 뛰어난 성능을 보였다.
• NanoDet는 정확도, 속도, 자원 효율성 간 최적의 균형을 달성하여 실시간 엣지 기반 응용에 가장 적합하다.
• 백본 중에서 HarDNet는 정확도, 추론 속도, 에너지 소비 간 최적의 트레이드오프를 제공하며, 특히 저전력 엣지 장치에서 뛰어난 성능을 보였다.
• 자연적 손상 상황에서 성능 저하가 심각하게 발생하며, FCOS는 노이즈가 많고 흐릿한 손상에 대해 가장 높은 내성성을 보였지만, 눈 오는 조건에서는 모든 모델이 실패했다.
• CenterNet는 악성 변형에 가장 강한 저항성을 보였고, FCOS와 DETR도 상대적으로 높은 내성성을 보여, 악성 공격 방어에 아키텍처적 이점이 있음을 시사했다.
• SSD는 다른 모델보다 더 나은 校정 성능을 보였고, 키포인트 기반 검출기는 더 보수적인 예측을 하여 자율주행과 같은 안전이 중요한 시스템에서 바람직한 선택이 된다.