[論文レビュー] Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning

Yiming Sun, Bing Cao+2 more|arXiv (Cornell University)|Mar 5, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、ドローンベースのRGB赤外車両検出を対象とした、新たな不確実性に配慮したクロスモダリティ検出フレームワーク、UA-CMDetを提案する。本手法は、モダリティ固有の不確実性評価と照度に配慮したNMSを活用し、低照度条件下での性能向上を図っている。新しく導入されたDroneVehicleデータセットにおいて最先端の結果を達成し、特に困難な夜間シナリオにおいて、複数の車両カテゴリにおける検出精度を顕著に向上させた。

ABSTRACT

Drone-based vehicle detection aims at finding the vehicle locations and categories in an aerial image. It empowers smart city traffic management and disaster rescue. Researchers have made mount of efforts in this area and achieved considerable progress. Nevertheless, it is still a challenge when the objects are hard to distinguish, especially in low light conditions. To tackle this problem, we construct a large-scale drone-based RGB-Infrared vehicle detection dataset, termed DroneVehicle. Our DroneVehicle collects 28, 439 RGB-Infrared image pairs, covering urban roads, residential areas, parking lots, and other scenarios from day to night. Due to the great gap between RGB and infrared images, cross-modal images provide both effective information and redundant information. To address this dilemma, we further propose an uncertainty-aware cross-modality vehicle detection (UA-CMDet) framework to extract complementary information from cross-modal images, which can significantly improve the detection performance in low light conditions. An uncertainty-aware module (UAM) is designed to quantify the uncertainty weights of each modality, which is calculated by the cross-modal Intersection over Union (IoU) and the RGB illumination value. Furthermore, we design an illumination-aware cross-modal non-maximum suppression algorithm to better integrate the modal-specific information in the inference phase. Extensive experiments on the DroneVehicle dataset demonstrate the flexibility and effectiveness of the proposed method for crossmodality vehicle detection. The dataset can be download from https://github.com/VisDrone/DroneVehicle.

研究の動機と目的

• ドローンによる空中画像における低照度下での車両検出の課題に取り組む。特にRGBモダリティは視認性が著しく低下する。
• RGBと赤外モダリティの補完的特徴を統合することで、単一モダリティ検出の限界を克服する。
• クロスモダリティデータに内在する冗長性と不確実性、特に赤外画像における誤検出とRGB画像の低視認性を解消する。
• 不確実性と照度に基づいてモダリティを動的に重み付けする統合フレームワークを構築し、耐障害性と精度を向上させる。
• 今後の研究を支援するため、大規模かつ24時間対応のクロスモダリティデータセット（DroneVehicle）を提供する。

提案手法

• クロスモダリティの交差領域（IoU）とRGBの照度値を用いて、モダリティ固有の不確実性を評価する不確実性認識モジュール（UAM）を提案する。
• 不確実性重みを特徴統合に統合し、トレーニングおよび推論時に信頼性の高いモダリティ情報の優先を実現する。
• 照明状態に応じて両モダリティの予測を適応的に統合する、照度に配慮した非最大抑制（IA-NMS）アルゴリズムを設計する。
• RGBおよび赤外入力を別々に処理するマルチブランチ検出器（RoITransformerベース）を用い、不確実性重み付きの後期統合を実現する。
• 補完的特徴学習を促進すると同時に、冗長または矛盾する予測を最小限に抑えるための共同最適化戦略を適用する。
• 28,439組のRGB赤外画像ペアと、昼間および夜間の両シナリオをカバーする953,087台の車両に対する方向付きバウンディングボックスアノテーションを含むDroneVehicleデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 ドローンベースの車両検出において、RGBおよび赤外モダリティの不確実性を効果的に評価し、クロスモダリティ特徴統合を指針とする方法は何か？
• RQ2 照度に配慮したNMS戦略は、低照度条件下でモダリティ固有の予測をより効果的に統合することで、検出性能を向上させ得るか？
• RQ3 提案されたUA-CMDetフレームワークは、実世界のドローン画像において、単一モダリティおよび既存のクロスモダリティ検出手法をどの程度上回るか？
• RQ4 大規模かつ24時間対応のクロスモダリティデータセット（DroneVehicle）の導入は、車両検出モデルの耐障害性と一般化性能にどのような影響を及ぼすか？
• RQ5 特に困難な夜間条件下において、異なる車両カテゴリにおける検出精度の向上はどの程度か？

主な発見

• 提案されたUA-CMDetフレームワークは、DroneVehicleデータセットにおいて最先端の性能を達成し、RGBおよび赤外モダリティの両方でベースラインモデルを顕著に上回った。
• 夜間シナリオにおいて、車両検出精度は単一モダリティベースラインと比較して、乗用車で4.12%、貨物車で3.95%、トラックで9.17%、バスで7.6%、バンで3.56%向上した。
• 車両検出精度にわずかな低下が見られたが、不確実性に配慮した統合により誤検出と見逃し検出が著しく減少したため、全体的な性能向上は顕著であった。
• 照度に配慮したNMS（IA-NMS）は、赤外画像における「ゴーストシャドウ」と混乱を引き起こす長方形の物体に起因する誤検出を効果的に低減した。
• 可視化結果から、UA-CMDetは補完的赤外情報により低照度RGB画像内の車両を正しく検出するとともに、赤外単独検出における誤検出を効果的に抑制していることが確認された。
• 28,439組の画像ペアと953,087台のアノテート済み車両を有するDroneVehicleデータセットは、24時間対応かつクロスモダリティのドローンベース車両検出用に、初めてかつ最大規模のデータセットであり、より耐障害性があり一般化可能なモデルの学習を可能にした。