[論文レビュー] Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection

Chengyang Li, Dan Song+2 more|arXiv (Cornell University)|Mar 14, 2018

Remote-Sensing Image Classification参考文献 44被引用数 20

ひとこと要約

本稿では、照度に敏感なゲーティング機構を用いて色画像と赤外画像の特徴を動的に統合する、照度に配慮したFaster R-CNN（IAF R-CNN）を提案する。照度状態をIANベースのネットワークで推定し、モodal 構成の寄与度を動的に重み付けすることで、IAF R-CNNはKAISTマルチスペクトルベンチマークで最先端の性能を達成し、特に厳しい照明条件下でMR^Iにおいて従来手法を最大5.03%上回った。

ABSTRACT

Multispectral images of color-thermal pairs have shown more effective than a single color channel for pedestrian detection, especially under challenging illumination conditions. However, there is still a lack of studies on how to fuse the two modalities effectively. In this paper, we deeply compare six different convolutional network fusion architectures and analyse their adaptations, enabling a vanilla architecture to obtain detection performances comparable to the state-of-the-art results. Further, we discover that pedestrian detection confidences from color or thermal images are correlated with illumination conditions. With this in mind, we propose an Illumination-aware Faster R-CNN (IAF RCNN). Specifically, an Illumination-aware Network is introduced to give an illumination measure of the input image. Then we adaptively merge color and thermal sub-networks via a gate function defined over the illumination value. The experimental results on KAIST Multispectral Pedestrian Benchmark validate the effectiveness of the proposed IAF R-CNN.

研究の動機と目的

• 変動する照度条件下、特に低照度または夜間の状況においても頑健な歩行者検出を実現すること。
• Faster R-CNNベースの検出器におけるマルチスペクトル（色-赤外）特徴の有効な統合戦略を調査すること。
• 照度レベルに応じて適応的に変化する動的統合メカニズムを構築し、さまざまな照度条件下での検出信頼性を向上させること。
• マルチスペクトル歩行者検出における複数の畳み込みニューラルネットワーク統合アーキテクチャを評価・比較すること。
• 照度に配慮した統合が、固定重みまたはヒューリスティックな統合戦略と比較して、検出性能を顕著に向上させることを示すこと。

提案手法

• 入力画像の照度レベルを、日/夜の2値ラベルのみを用いて推定する照度に配慮したネットワーク（IAN）を訓練する。
• 照度測定値に基づいてモダリティ固有の重みを計算するゲート関数を用い、色画像と赤外画像のサブネットワーク出力の動的統合を実現する。
• 色画像および赤外画像のサブネットワークを、統合モジュールと一体となったFaster R-CNNフレームワーク内で共同で学習する。
• 照度が悪い状況では赤外ネットワークの重みを自動的に増加させ、明るい状況では色特徴を優先するように適応的に統合する。
• 照度推定手法としてKey、Range、IANの3種類を評価し、IANが複雑な屋外シーンにおいて優れた一般化性能を示した。
• モデルはエンドツーエンドで学習可能であり、特徴抽出、照度推定、統合ゲーティングの同時最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 Faster R-CNNを基盤とする複数のマルチスペクトル統合アーキテクチャは、歩行者検出において性能と適応性の面でどのように比較されるか？
• RQ2 照度状態が、色モダリティと赤外モダリティの歩行者検出における信頼性に及ぼす影響はどの程度か？
• RQ3 照度に配慮した統合メカニズムは、さまざまな照度条件下での検出の頑健性を向上させることができるか？
• RQ4 提案された照度に配慮した重み付け手法は、固定重み（例：平均）やしきい値ベース（ハード0-1）の統合戦略と比較して、どの程度優れているか？
• RQ5 日/夜の弱いラベルで学習された軽量な照度推定器は、実世界のマルチスペクトル検出においてモダリティ統合を効果的にガイドできるか？

主な発見

• 提案されたIAF R-CNNは、KAISTマルチスペクトル歩行者検出ベンチマークで最先端の性能を達成し、先行手法を上回った。
• 照度に配慮した重み付け機構により、平均重み付け手法と比較してMR^Iで0.67%、ハード0-1重み付け手法と比較して5.03%の性能向上を達成した。
• IANによる照度推定は、Key法やRange法よりも顕著に優れた結果を示し、特に複雑な屋外シーンで顕著であった。
• モデルは昼間および夜間の両方の条件下で頑健であり、低照度状況では赤外モダリティの重みを優先する動的統合を示した。
• 適切に調整されたベースラインのマルチスペクトルFaster R-CNNも、最先端に近い性能を達成したため、ベースラインアーキテクチャの高いポentialが示された。
• 可視化により、学習されたゲート関数が推定された照度に応じてモダリティの重みを適切に調整していることが確認され、直感的な期待と整合的であった。