[논문 리뷰] Pedestrian Detection in Low-Light Conditions: A Comprehensive Survey

Bahareh Ghari, Ali Tourani외 2명|arXiv (Cornell University)|2024. 01. 15.

Video Surveillance and Tracking Methods참고 문헌 186인용 수 4

한 줄 요약

이 종합적 서베이는 저조도 조건에서 보행자 검출을 위한 최신 118종의 방법을 검토하며, 낮은 시야 조건에서 성능을 향상시키는 딥러닝 기반 융합 기법(조기, 중간, 후기)에 초점을 맞춘다. 이는 주로 야간 검출, 가림, 자율주행차의 실시간 구현과 같은 과제들을 강조한다. KAIST 데이터셋이 주요 벤치마크로 사용되며, 이는 약 48%의 연구에서 사용된다.

ABSTRACT

Pedestrian detection remains a critical problem in various domains, such as computer vision, surveillance, and autonomous driving. In particular, accurate and instant detection of pedestrians in low-light conditions and reduced visibility is of utmost importance for autonomous vehicles to prevent accidents and save lives. This paper aims to comprehensively survey various pedestrian detection approaches, baselines, and datasets that specifically target low-light conditions. The survey discusses the challenges faced in detecting pedestrians at night and explores state-of-the-art methodologies proposed in recent years to address this issue. These methodologies encompass a diverse range, including deep learning-based, feature-based, and hybrid approaches, which have shown promising results in enhancing pedestrian detection performance under challenging lighting conditions. Furthermore, the paper highlights current research directions in the field and identifies potential solutions that merit further investigation by researchers. By thoroughly examining pedestrian detection techniques in low-light conditions, this survey seeks to contribute to the advancement of safer and more reliable autonomous driving systems and other applications related to pedestrian safety. Accordingly, most of the current approaches in the field use deep learning-based image fusion methodologies (i.e., early, halfway, and late fusion) for accurate and reliable pedestrian detection. Moreover, the majority of the works in the field (approximately 48%) have been evaluated on the KAIST dataset, while the real-world video feeds recorded by authors have been used in less than six percent of the works.

연구 동기 및 목표

• 저조도 조건을 위해 특별히 설계된 최신 보행자 검출 방법을 체계적으로 검토하고 분류하는 것.
• 저조도 보행자 검출 연구에서 가장 흔히 사용되는 데이터셋, 베이스라인, 평가 프로토콜을 식별하는 것.
• 딥러닝 기반 접근법에서의 아키텍처 트렌드와 융합 전략(조기, 중간, 후기)을 분석하여 야간 검출 성능을 향상시키는 것.
• 실제 구현에서 해결되지 않은 과제들, 예를 들어 실시간 추론, 가림에 대한 강건성, 다양한 환경 간 일반화 능력 향상에 대해 강조하는 것.
• 현재 방법들의 설명 가능성, 도메인 적응, 실제 적용 가능성의 격차를 식별하여 향후 연구를 이끌어내는 것.

제안 방법

• 저조도 조건에서의 보행자 검출에 중점을 둔 최근 118篇의 논문을 체계적으로 검토하는 서베이를 수행한다.
• 다중 스펙트럼 또는 융합된 이미지 입력을 사용하여 특징 표현을 향상시키기 위해 융합 전략(조기, 중간, 후기)에 따라 방법을 분류한다.
• 백본 네트워크(예: VGG-16, ResNet-50, CSPDarknet-53) 및 검출 헤드(예: YOLO, R-CNN 변종)와 같은 아키텍처 구성 요소를 분석한다.
• KAIST 벤치마크에서 일광, 일광대비, 야간 서브셋에 대해 표준 평가 지표인 Miss Rate(MR)를 사용하여 성능을 평가한다.
• 모odal 불균형, 도메인 적응, 지식 정복, 다중 작업 학습 등의 카테고리에 따라 방법을 비교한다.
• 실제 적용 가능성 평가를 위해, 실시간 영상 피드를 사용한 연구 비율(전체의 약 6%)을 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 저조도 보행자 검출 연구에서 주로 사용되는 데이터셋과 베이스라인은 무엇인가?
• RQ2 RQ2: 저조도 보행자 검출에서 현재의 딥러닝 기반 알고리즘 트렌드는 무엇인가? 특히 융합 전략과 백본 아키텍처 측면에서 분석한다.
• RQ3 RQ3: 완전 자율주행차와 같은 대규모 실용적 응용 분야에 최신 보행자 검출 시스템을 구현할 때 해결되지 않은 과제는 무엇인가?

주요 결과

• KAIST 데이터셋이 가장 널리 사용되는 벤치마크로, 조사된 연구의 약 48%에서 사용된다.
• VGG-16 및 ResNet-50 백본을 사용한 중간 융합 전략이 가장 높은 성능을 보였으며, 야간 서브셋에서 최저 Miss Rate(MR) 2.90을 기록했다(MCFF [81]).
• 전반적으로 가장 뛰어난 성능을 보인 방법은 MCFF [81]로 야간 조건에서 MR 2.90을 기록했고, 이어 HAFNet [75](MR = 5.66)와 Zou et al. [71](MR = 2.00)가 뒤를 이었다.
• 조사된 연구 중 단지 6%만이 평가에 실제 영상 피드를 사용하여, 실험실 기반 벤치마크와 실제 적용 간 격차가 뚜렷하다는 것을 시사한다.
• 지식 정복 기반 방법(MD [127])과 비지도 도메 적응 방법(UTL [121])은 야간 서브셋에서 MR 값 약 15–25% 수준의 중간 성능을 보였다.
• 현재 시스템에 설명 가능성 있는 AI(xAI) 통합의 부족을 식별하였으며, 자율주행차의 대중 신뢰를 높이기 위해 해석 가능한 모델이 필요하다고 제안한다.