[論文レビュー] Multimodal Object Detection via Bayesian Fusion.

Yi-Ting Chen, Jinghao Shi+3 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Neural Network Applications参考文献 43被引用数 12

ひとこと要約

本稿では、条件付き独立性の仮定に基づく確率的モデルを用いてRGBと赤外画像の物体検出を統合する、学習を必要としない後処理型の非学習型Late-Fusion手法「Bayesian Fusion」を提案する。KAISTおよびFLIRベンチマークにおいて、先行研究比で13%以上の相対的性能向上を達成し、明るさの変動する条件下でもマルチモodalな物体検出において強く頑健であることを示している。

ABSTRACT

Object detection with multimodal inputs can improve many safety-critical perception systems such as autonomous vehicles (AVs). Motivated by AVs that operate in both day and night, we study multimodal object detection with RGB and thermal cameras, since the latter can provide much stronger object signatures under poor illumination. We explore strategies for fusing information from different modalities. Our key contribution is a non-learned late-fusion method that fuses together bounding box detections from different modalities via a simple probabilistic model derived from first principles. Our simple approach, which we call Bayesian Fusion, is readily derived from conditional independence assumptions across different modalities. We apply our approach to benchmarks containing both aligned (KAIST) and unaligned (FLIR) multimodal sensor data. Our Bayesian Fusion outperforms prior work by more than 13% in relative performance.

研究の動機と目的

• 自動運転車のような安全が重要なシステムにおける物体検出を、RGBカメラと赤外カメラの補完的情報を活用することで向上させること。
• 赤外画像がより強い物体シグネチャを提供する低照度条件下での視認性の悪さという課題に対処すること。
• 共同学習を必要とせず、エンドツーエンドの訓練を避ける、非学習型で原理的（principled）な融合戦略の開発。
• センサの配置が整った（KAIST）および整っていない（FLIR）マルチモーダルデータセットの両方で評価し、実世界のセンサ構成における頑健性を検証すること。

提案手法

• オブジェクト状態が与えられたもとでモダリティ間の条件付き独立性を仮定し、第一原理から導かれた確率的融合モデルを用いる。
• ベイズ推論を用いて、オブジェクト存在の事後確率を計算することで、RGBおよび赤外ストリームからのバウンディングボックス検出を統合する。
• 各モダリティからの証拠を重みづけする尤度モデルを通じて、検出スコアと空間的オーバーラップを統合する。
• 個々のモダリティ検出器が予測を出力した後処理として適用されるため、エンドツーエンドの訓練を回避できる。
• 深層学習や共同最適化を必要とせず、条件付き確率に基づく単純で解釈可能な数式に依存する。
• 評価はKAIST（センサが整列済み）およびFLIR（ラベルなし、非整列データ）の2つのベンチマークで実施され、一般化性能が示された。

実験結果

リサーチクエスチョン

• RQ1 学習を必要としない確率的融合手法は、マルチモーダル物体検出において、学習型融合手法を上回ることができるか？
• RQ2 モダリティ間の条件付き独立性が、低照度検出シナリオにおける融合性能にどのように影響するか？
• RQ3 Bayesian Fusionは、整列済みおよび非整列のマルチモーダルデータセットの両方で、どの程度検出精度を向上させるか？
• RQ4 実世界の自動運転車の展開状況のように、センサデータが時間的にずれている場合でも、この融合手法は頑健性を維持できるか？

主な発見

• Bayesian Fusionは、KAISTおよびFLIRベンチマークにおいて、先行研究比で13%以上の相対的性能向上を達成した。
• 本手法は、整列済み（KAIST）および非整列（FLIR）のセンサデータの両方で優れた一般化性能を示した。
• 非学習型で確率的な設計により、共同学習や複雑なキャリブレーションを必要とせず、信頼性の高い融合が可能となった。
• 低照度条件下での赤外画像の利点を効果的に活用し、劣悪な照度環境下での検出性能を顕著に向上させた。