[論文レビュー] FishEye8K: A Benchmark and Dataset for Fisheye Camera Object Detection

Munkhjargal Gochoo, Munkh-Erdene Otgonbold+10 more|arXiv (Cornell University)|May 27, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、台湾新竹の18台の監視カメラから収集した8,000枚のファイッシュアイカメラ画像と5つの道路オブジェクトクラス（Pedestrian, Bike, Car, Bus, Truck）の157,000個のバウンディングボックスを含む、新しいオープンベンチマークデータセットFishEye8Kを紹介する。最先端のYOLOモデルの評価を通じて、YOLOv8とYOLORが最高のmAPを達成したが、極端な歪みとクラス不均衡の課題にもかかわらず、ファイッシュアイベースのスマートシティおよびビデオ分析アプリケーションの基盤を確立した。

ABSTRACT

With the advance of AI, road object detection has been a prominent topic in computer vision, mostly using perspective cameras. Fisheye lens provides omnidirectional wide coverage for using fewer cameras to monitor road intersections, however with view distortions. To our knowledge, there is no existing open dataset prepared for traffic surveillance on fisheye cameras. This paper introduces an open FishEye8K benchmark dataset for road object detection tasks, which comprises 157K bounding boxes across five classes (Pedestrian, Bike, Car, Bus, and Truck). In addition, we present benchmark results of State-of-The-Art (SoTA) models, including variations of YOLOv5, YOLOR, YOLO7, and YOLOv8. The dataset comprises 8,000 images recorded in 22 videos using 18 fisheye cameras for traffic monitoring in Hsinchu, Taiwan, at resolutions of 1080$ imes$1080 and 1280$ imes$1280. The data annotation and validation process were arduous and time-consuming, due to the ultra-wide panoramic and hemispherical fisheye camera images with large distortion and numerous road participants, particularly people riding scooters. To avoid bias, frames from a particular camera were assigned to either the training or test sets, maintaining a ratio of about 70:30 for both the number of images and bounding boxes in each class. Experimental results show that YOLOv8 and YOLOR outperform on input sizes 640$ imes$640 and 1280$ imes$1280, respectively. The dataset will be available on GitHub with PASCAL VOC, MS COCO, and YOLO annotation formats. The FishEye8K benchmark will provide significant contributions to the fisheye video analytics and smart city applications.

研究の動機と目的

• 交通監視におけるファイッシュアイカメラベースの2次元道路オブジェクト検出のためのオープンで大規模なデータセットの不足に対処すること。
• 現実の都市交差点からの実際の歪み、さまざまな照明条件、複数のオブジェクトクラスを備えた多様で匿名化されたデータセットを構築すること。
• ファイッシュアイ画像における最先端のオブジェクト検出モデルの評価のための標準化されたベンチマークを提供すること。
• オムニディレクショナルなファイッシュアイカメラを用いた、耐障害性の高いビデオ分析およびスマートシティアプリケーションの開発を支援すること。
• カメラごとにトレーニングセットとテストセットを分離することで、データ漏洩やバイアスを防ぎ、公平な評価を確保すること。

提案手法

• 台湾新竹市に設置された18台のファイッシュアイ監視カメラから、22の動画シーケンス（1台あたり8〜20分）を収集し、都市交差点や高速道路をカバーした。
• 5つのクラス（Pedestrian, Bike, Car, Bus, Truck）の157,000個のバウンディングボックスを含む8,000枚の画像フレームを、きめ細やかな手動ラベリングによりアノテートした。
• データ漏洩を防ぎ、各セットにおけるクラス分布のバランスを保つために、カメラごとに70:30のトレーニング対テスト分割を維持した。
• 既存のオブジェクト検出フレームワークとの広範な互換性を実現するため、PASCAL VOC、MS COCO、YOLOの複数の標準フォーマットでアノテーションを提供した。
• 標準的な指標（mAP、Precision、Recall、推論時間）を用いて、YOLOv5x、YOLOR、YOLOv7、YOLOv8などの最先端モデルを評価した。
• プライバシー準拠を確保するため、顔および車両ナンバープレートをぼかすことでデータの匿名化を実施した。

実験結果

リサーチクエスチョン

• RQ1 極端な径方向歪みを有するファイッシュアイカメラ画像において、最先端のオブジェクト検出モデルの性能はいかがなものか？
• RQ2 入力解像度（640×640 対 1280×1280）がファイッシュアイデータにおいてモデルの精度に与える影響は？
• RQ3 オブジェクト検出器がファイッシュアイ画像において主にどのような失敗モードを示すか、特に小さなまたは遠く離れたオブジェクトに関して？
• RQ4 クラス不均衡と画像歪みが、異なるオブジェクトカテゴリの検出性能に与える影響は？
• RQ5 再訓練を完全に新たに開始することなく、既存のYOLOベースのモデルがファイッシュアイカメラデータに効果的に一般化できるか？

主な発見

• YOLOv8とYOLORがFishEye8Kデータセットで最高のmAPを達成した。YOLOv8は640×640入力サイズで最良のパフォーマンスを示し、YOLORは1280×1280で最高であった。
• 最高性能を示したモデル（YOLOR-W6）のmAP@0.5は、Carで0.8161、次いでTruck（0.7853）、Bike（0.7422）、Bus（0.6541）を記録した。Pedestrianは0.3621であった。
• Pedestrianクラスは最小の精度（0.49）と最大の偽陰性率（0.72）を示し、小さなまたは遠く離れた人物の検出に顕著な課題が存在した。
• 背景要因が誤検出の原因となりやすく、Bikeクラスの65％の誤検出が、看板や建物を自転車と誤認する形で発生した。
• 高スペックGPU上での推論時間は4.3 ms〜43.9 msの範囲にあり、リアルタイム推論の可能性が示された。
• 全クラスにわたり偽陰性率が高く（0.29〜0.72）、特に駐車中または部分的に見えない車両に対して顕著であり、サイズが小さくなった遠く離れた歩行者を自転車と誤認する事例も確認された。