[論文レビュー] GFD-SSD: Gated Fusion Double SSD for Multispectral Pedestrian Detection

Yang Zheng, Izzat H. Izzat+1 more|arXiv (Cornell University)|Mar 16, 2019

Advanced Neural Network Applications参考文献 29被引用数 35

ひとこと要約

Gated Fusion Double SSD (GFD-SSD) を導入し、カラーと熱ストリームを融合して多スペクトル歩行者検出を実現。Faster-RCNN ベースの融合ネットワークよりミス率を低く、推論は高速。

ABSTRACT

Pedestrian detection is an essential task in autonomous driving research. In addition to typical color images, thermal images benefit the detection in dark environments. Hence, it is worthwhile to explore an integrated approach to take advantage of both color and thermal images simultaneously. In this paper, we propose a novel approach to fuse color and thermal sensors using deep neural networks (DNN). Current state-of-the-art DNN object detectors vary from two-stage to one-stage mechanisms. Two-stage detectors, like Faster-RCNN, achieve higher accuracy, while one-stage detectors such as Single Shot Detector (SSD) demonstrate faster performance. To balance the trade-off, especially in the consideration of autonomous driving applications, we investigate a fusion strategy to combine two SSDs on color and thermal inputs. Traditional fusion methods stack selected features from each channel and adjust their weights. In this paper, we propose two variations of novel Gated Fusion Units (GFU), that learn the combination of feature maps generated by the two SSD middle layers. Leveraging GFUs for the entire feature pyramid structure, we propose several mixed versions of both stack fusion and gated fusion. Experiments are conducted on the KAIST multispectral pedestrian detection dataset. Our Gated Fusion Double SSD (GFD-SSD) outperforms the stacked fusion and achieves the lowest miss rate in the benchmark, at an inference speed that is two times faster than Faster-RCNN based fusion networks.

研究の動機と目的

• varied lighting における堅牢な歩行者検知を、カラーと熱の両方の画像を活用して動機づける。
• Learnable feature fusion units を備えた2つの SSD デテクタを組み合わせる融合戦略を開発する。
• 自動運転アプリケーションのために、精度と速度をバランスさせる効率的な融合アーキテクチャを探求する。

提案手法

• 2つの新規 Gated Fusion Units (GFU) のバリアントを提案し、2つの SSD 中間層からの特徴マップを学習して結合する。
• GFU を全特徴ピラミッドに適用して、混合スタックおよびゲート付き融合戦略を作成する。
• 単純な特徴スタッキングではなく、学習可能な特徴レベルの融合を介してカラーと熱の SSD を融合する。
• KAIST 多スペクトル歩行者検出データセットで評価し、スタックされた融合のベースラインおよび Faster-RCNN ベースの融合ネットワークと比較する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付き融合ユニットは、単純な特徴スタッキングよりも多スペクトル歩行者検出における異_sensorの特徴統合を効果的に学習できるか。
• RQ2 二重SSDフレームワークで GFU を介してカラーと熱ストリームを統合することで、リアルタイム速度を維持しつつミス率を改善できるか。
• RQ3 KAIST データにおいて、GFD-SSD は精度と推論速度の両方で Faster-RCNN ベースの融合ネットワークとどのように比較されるか。

主な発見

• GFD-SSD は KAIST 多スペクトル歩行者データセットにおいて、スタック型融合ベースラインを上回る。
• 提案手法は、評価された方法の中でベンチマークの最も低いミス率を達成している。
• 推論速度は Faster-RCNN ベースの融合ネットワークの2倍高速である。