[論文レビュー] Pedestrian Detection in Low-Light Conditions: A Comprehensive Survey

Bahareh Ghari, Ali Tourani+2 more|arXiv (Cornell University)|Jan 15, 2024

Video Surveillance and Tracking Methods参考文献 186被引用数 4

ひとこと要約

本包括的なサーベイは、低照度条件下における歩行者検出の最先端手法118件をレビューし、視認性が低い状況下での性能向上を目的としたディーブラーニングベースの統合技術（早期、中間、後期）に焦点を当てる。KAISTデータセットが主なベンチマークとして特定され（研究の約48％で使用）、夜間の検出、隠蔽、自動運転車両におけるリアルタイム配備といった課題が強調されている。

ABSTRACT

Pedestrian detection remains a critical problem in various domains, such as computer vision, surveillance, and autonomous driving. In particular, accurate and instant detection of pedestrians in low-light conditions and reduced visibility is of utmost importance for autonomous vehicles to prevent accidents and save lives. This paper aims to comprehensively survey various pedestrian detection approaches, baselines, and datasets that specifically target low-light conditions. The survey discusses the challenges faced in detecting pedestrians at night and explores state-of-the-art methodologies proposed in recent years to address this issue. These methodologies encompass a diverse range, including deep learning-based, feature-based, and hybrid approaches, which have shown promising results in enhancing pedestrian detection performance under challenging lighting conditions. Furthermore, the paper highlights current research directions in the field and identifies potential solutions that merit further investigation by researchers. By thoroughly examining pedestrian detection techniques in low-light conditions, this survey seeks to contribute to the advancement of safer and more reliable autonomous driving systems and other applications related to pedestrian safety. Accordingly, most of the current approaches in the field use deep learning-based image fusion methodologies (i.e., early, halfway, and late fusion) for accurate and reliable pedestrian detection. Moreover, the majority of the works in the field (approximately 48%) have been evaluated on the KAIST dataset, while the real-world video feeds recorded by authors have been used in less than six percent of the works.

研究の動機と目的

• 低照度条件下に特化した最先端の歩行者検出手法を体系的にレビューし、分類すること。
• 低照度における歩行者検出研究で一般的に使用されているデータセット、ベースライン、評価プロトコルを特定すること。
• ディーブラーニングベースの手法におけるアーキテクチャのトレンドと統合戦略（早期、中間、後期）を分析し、夜間検出の性能向上を図ること。
• リアルタイム推論、隠蔽に対する耐性、多様な環境への一般化といった実用的配備における未解決の課題を浮き彫りにすること。
• 現在の手法における説明可能性、ドメイン適応、実世界への適用可能性のギャップを特定することで、今後の研究を導くこと。

提案手法

• 本サーベイは、低照度条件下における歩行者検出に特化した118件の最近の論文を体系的にレビューする。
• マルチスペクトルまたは統合画像入力を用いて特徴表現を向上させるために、統合戦略（早期、中間、後期）に基づいて手法を分類する。
• アーキテクチャの構成要素として、バックボーンネットワーク（例：VGG-16、ResNet-50、CSPDarknet-53）および検出ヘッド（例：YOLO、R-CNN変種）を含む分析を行う。
• KAISTベンチマークを用いて、昼間、昼間、夜間のサブセットにおける標準的な指標（ミス率MR）を用いて性能を評価する。
• モダリティの不均衡、ドメイン適応、知識蒸留、マルチタスク学習などのカテゴリに跨る手法を比較する。
• 実世界の適用可能性を検討するため、実際の動画フィードを用いた研究の割合（わずか約6％）を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 低照度における歩行者検出研究で主に使用されているデータセットとベースラインは何か？
• RQ2 RQ2: 低照度における歩行者検出における現在のディーブラーニングベースのアルゴリズムのトレンドは何か。特に統合戦略とバックボーンアーキテクチャの観点から。
• RQ3 RQ3: フル自動運転車両のような大規模な実用的応用における最先端の歩行者検出システムの実装に未解決の課題は何か？

主な発見

• KAISTデータセットが最も広く使われているベンチマークであり、調査対象の約48％の研究がこれに基づいて評価されている。
• VGG-16およびResNet-50バックボーンを用いた中間統合戦略が最良のパフォーマンスを示し、夜間サブセットでのミス率（MR）が2.90（MCFF [81]）という最低水準を記録した。
• 全体として最も優れたパフォーマンスを示したのはMCFF [81]で、夜間条件下でのMRが2.90であった。続くのはHAFNet [75]（MR = 5.66）とZouら [71]（MR = 2.00）であった。
• 調査対象のうちわずか6％の研究が、実世界の動画フィードを評価に使用しており、これはラボベースのベンチマークと実世界の配備の間の顕著なギャップを示している。
• 知識蒸留（例：MD [127]）および非教師ありドメイン適応（例：UTL [121]）に基づく手法は中程度のパフォーマンスを示し、夜間サブセットでのMRは約15–25％であった。
• 本サーベイは、現在のシステムに説明可能なAI（xAI）の統合が不足していることを特定し、自動運転車両における一般の信頼を高めるために解釈可能なモデルの開発が求められると示唆している。