[論文レビュー] Optimal Sensor Data Fusion Architecture for Object Detection in Adverse Weather Conditions

Andreas Pfeuffer, Klaus Dietmayer|arXiv (Cornell University)|Jul 6, 2018

Remote-Sensing Image Classification被引用数 7

ひとこと要約

本稿では、悪悪天候下における物体検出のためのラテント融合センサデータアーキテクチャを提案し、融合を遅らせることがセンサの劣化や悪悪天候への耐性を向上させることを実証している。悪悪天候データで訓練し、空間的キャリブレーションを事前知識として組み込むことで、標準モデルと比較して悪悪天候Kitti上で最大20%高いmAPを達成した。ラテント融合は、すべての指標でエアリー融合およびミドル融合を上回った。

ABSTRACT

A good and robust sensor data fusion in diverse weather conditions is a quite challenging task. There are several fusion architectures in the literature, e.g. the sensor data can be fused right at the beginning (Early Fusion), or they can be first processed separately and then concatenated later (Late Fusion). In this work, different fusion architectures are compared and evaluated by means of object detection tasks, in which the goal is to recognize and localize predefined objects in a stream of data. Usually, state-of-the-art object detectors based on neural networks are highly optimized for good weather conditions, since the well-known benchmarks only consist of sensor data recorded in optimal weather conditions. Therefore, the performance of these approaches decreases enormously or even fails in adverse weather conditions. In this work, different sensor fusion architectures are compared for good and adverse weather conditions for finding the optimal fusion architecture for diverse weather situations. A new training strategy is also introduced such that the performance of the object detector is greatly enhanced in adverse weather scenarios or if a sensor fails. Furthermore, the paper responds to the question if the detection accuracy can be increased further by providing the neural network with a-priori knowledge such as the spatial calibration of the sensors.

研究の動機と目的

• 悪悪天候下における物体検出のためのセンサ融合アーキテクチャ（エアリー融合、ミドル融合、ラテント融合）を評価・比較すること。
• 実世界の悪悪天候環境に展開された最先端の物体検出器（例：Faster R-CNN）が性能を低下させる問題に対処すること。
• センサの空間的キャリブレーションといった事前知識を組み込むことで、検出精度が向上するかどうかを調査すること。
• センサ障害や悪悪天候条件への耐性を高める訓練戦略を開発すること。
• 良好天候下で最適な融合アーキテクチャが、悪悪天候下でも最適であるかどうかを特定すること。

提案手法

• 研究ではFaster R-CNNをベース検出器とし、3つの融合アーキテクチャ（エアリー融合：カメラとライダーの特徴を早期に連結、ミドル融合：中間特徴レベルでの融合、ラテント融合：個別特徴抽出後に遅延連結）を評価した。
• 悪悪天候Kittiデータセットで微調整することで、霧、雨、雪、低照度条件での性能を向上させる新しい訓練戦略を導入した。
• センサ間の空間的キャリブレーション情報をニューラルネットワークアーキテクチャに事前知識として組み込み、特徴の整合性と融合精度を向上させた。
• 特徴エンコーダーにVGG16およびVGG16mを用い、標準Kittiおよび悪悪天候KittiベンチマークでmAPを計算した。
• 同一の訓練条件およびハイパーパrameterを用いて融合戦略を比較することで、公平な評価を確保した。
• センサ障害（例：ライダーのドロップアウト）が、異なる融合タイプの検出性能に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 悪悪天候下における物体検出において、ラテント融合はエアリー融合およびミドル融合を上回る性能を示すか？
• RQ2 悪悪天候データで訓練することで、良好天候データでのみ訓練されたモデルと比較して、検出器の耐性が顕著に向上するか？
• RQ3 空間的キャリブレーションを事前知識として組み込むことで、特に小型ニューラルネットワークにおいて検出精度が向上するか？
• RQ4 良好天候下で最適な融合アーキテクチャが、悪悪天候下でも最適であるか？
• RQ5 センサ障害（例：ライダーのドロップアウト）が、異なる融合アーキテクチャの性能に与える影響はいかほどか？

主な発見

• ラテント融合は、悪悪天候下で一貫してエアリー融合およびミドル融合を上回り、すべてのクラスおよび特徴エンコーダーで最高のmAPを達成した。
• 悪悪天候Kittiデータセットで訓練することで、VGG16mでは平均してmAPが約20%向上したが、標準Kittiでの性能は5%低下した。
• VGG16のような大規模ネットワークでは、悪悪天候KittiでのmAPが向上し、標準Kittiでの性能は維持またはわずかに向上した。
• ラテント融合はセンサ障害に優れた耐性を示した：ライダーのデータが欠落した場合、最先端のFaster R-CNNと比較して顕著に高い精度を維持した。
• 空間的キャリブレーションを事前知識として組み込むことで性能が向上したが、特にラテント融合で顕著な効果が見られた。
• 結果から、遅延融合がより優れた耐性をもたらすことが確認された。早期融合では、センサのノイズや障害が、特徴抽出パイプライン全体に影響を及ぼすためである。