[論文レビュー] Enhancing Object Detection in Adverse Conditions using Thermal Imaging

Kshitij Agrawal, Anbumani Subramanian|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 24被引用数 8

ひとこと要約

本稿では、夜間や悪天候などの悪条件下での物体検出を向上させるために、可視光と赤外線画像を統合する手法を提案している。FLIR ADASデータセットを用い、同期されたRGB画像と赤外線画像を活用している。赤外線データで学習させることで、低照度環境下での検出精度が著しく向上することが示された一方、可視光スペクトルのモデルは夜間の画像では失敗することが明らかになった。これにより、赤外線画像の自動運転車両の周囲認識における価値が強調された。

ABSTRACT

Autonomous driving relies on deriving understanding of objects and scenes through images. These images are often captured by sensors in the visible spectrum. For improved detection capabilities we propose the use of thermal sensors to augment the vision capabilities of an autonomous vehicle. In this paper, we present our investigations on the fusion of visible and thermal spectrum images using a publicly available dataset, and use it to analyze the performance of object recognition on other known driving datasets. We present an comparison of object detection in night time imagery and qualitatively demonstrate that thermal images significantly improve detection accuracy.

研究の動機と目的

• 自動運転車両の周囲認識において、可視光スペクトルカメラが低照度や悪天候条件下で示す限界を克服すること。
• 走行状況における赤外線画像を用いた物体検出器の学習の可能性と性能を調査すること。
• 可視光ドメインと赤外線ドメイン間のドメイン変換を評価し、スペクトルモダリティをまたいでモデルの汎化性能を測定すること。
• 可視光カメラが性能を発揮できない夜間条件下で、赤外線画像が検出精度を著しく向上させることを実証すること。

提案手法

• 同期された可視光と赤外線画像を提供するFLIR ADASデータセットを用い、14,452枚の赤外線画像にCOCO形式のアノテーションが付与されている。
• 8点ホモロジーを用いた2次元画像のアライメント技術を適用し、赤外線画像から対応する可視光画像へのバウンディングボックスアノテーションの転送を実施した。
• Faster R-CNNにResNet-101バックボーンを適用し、3つのデータセット（FLIR赤外線（FLIR_THM）、インド運転データセット（IDD）、KITTI）で学習を実施した。
• ドメイン間評価を実施し、あるドメイン（例：可視光）で学習したモデルを別のドメイン（例：赤外線）でテストすることで、ドメインシフトと転送可能性を評価した。
• Faster R-CNNモデルの初期化にCOCOで事前学習した重みを使用し、各データセットで180,000イテレーションにわたり微調整した。
• FLIR、IDD、KITTIの各データセット間でクラスラベルを変換し、統一されたラベルマッピング方式を用いて一貫した評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 可視光スペクトルのデータで学習した物体検出モデルは、赤外線画像で学習したモデルに比べ、夜間走行条件下で優れた性能を示すか？
• RQ2 可視光ドメインから赤外線ドメインにモデルを転送する際、ドメインシフトが物体検出器の性能に及ぼす影響はどの程度か？
• RQ3 複数の可視光スペクトルデータセット（例：IDD、KITTI）の学習データを統合することで、赤外線または夜間走行状況への汎化性能が向上するか？
• RQ4 自動運転応用において、可視光スペクトルモデルから赤外線データへの少サンプル転移学習はどの程度効果的か？

主な発見

• IDDおよびKITTIで学習した可視光スペクトルモデルは、それぞれFLIR赤外線画像でテストした際、mAPが2.6倍および13倍低下した。これはドメイン間転送性能が著しく低いことを示している。
• FLIR赤外線データのみで学習したモデルは、夜間の可視光画像でmAPが0.237にとどまり、ベースライン性能比で40％の低下を示した。これは可視光ドメインへの転送能力が限定的であることを示している。
• IDDで学習したモデルは、夜間の可視光画像で最高のmAP（0.341）を達成した。これは、日中／夜間のシーン分布とより整合しているためである。
• 同じデータセットで、KITTIモデルは自ドメイン内ではmAPが0.935を記録したが、赤外線画像ではわずか0.070にとどまり、深刻なドメインシフトが確認された。
• 赤外線データのみで学習したモデルは、同じドメインでテストした際、mAPが0.160にとどまり、赤外線データだけでは高精度を達成できないことが示された。
• 本研究では、赤外線画像が低視界条件、特に可視光カメラが性能を発揮できない夜間条件下で検出性能を著しく向上させることを確認した。