[論文レビュー] Multimodal Object Detection via Probabilistic Ensembling

Yi-Ting Chen, Jinghao Shi+4 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、条件付き独立性の仮定の下でベイズの定理に基づき導出された非学習型確率的アンサンブル手法であるProbEnを提案する。RGBカメラと赤外カメラを用いたマルチモーダルオブジェクト検出に適用され、検出結果を統合することで、アライメント済み（KAIST）および非アライメント（FLIR）のベンチマークでそれぞれ13%以上の相対的改善を達成する。欠損モダリティに対しても確率的マージナリゼーションを用いることで、同時発火しない検出器に対しても耐障害性を発揮する。

ABSTRACT

Object detection with multimodal inputs can improve many safety-critical systems such as autonomous vehicles (AVs). Motivated by AVs that operate in both day and night, we study multimodal object detection with RGB and thermal cameras, since the latter provides much stronger object signatures under poor illumination. We explore strategies for fusing information from different modalities. Our key contribution is a probabilistic ensembling technique, ProbEn, a simple non-learned method that fuses together detections from multi-modalities. We derive ProbEn from Bayes' rule and first principles that assume conditional independence across modalities. Through probabilistic marginalization, ProbEn elegantly handles missing modalities when detectors do not fire on the same object. Importantly, ProbEn also notably improves multimodal detection even when the conditional independence assumption does not hold, e.g., fusing outputs from other fusion methods (both off-the-shelf and trained in-house). We validate ProbEn on two benchmarks containing both aligned (KAIST) and unaligned (FLIR) multimodal images, showing that ProbEn outperforms prior work by more than 13% in relative performance!

研究の動機と目的

• 劣悪な照明条件下でも、RGBおよび赤外カメラからのマルチモーダルオブジェクト検出出力を統合する課題に対処すること。
• 欠損検出を処理できない、または複雑な学習アーキテクチャに依存する既存の統合手法の限界を克服すること。
• 大規模データセットで事前に高精度にチューニングされた単一モダリティ検出器を活用する、シンプルで非学習型の統合戦略を開発すること。
• 空間的および時間的アライメントが不十分な非アライメントデータセット（例：FLIR）においても、有効な統合を可能にすること。
• 確率的アンサンブルが、エンドツーエンド統合モデルや先行研究の最先端手法を上回ることを実世界のベンチマークで示すこと。

提案手法

• 真のオブジェクトラベルが与えられたもとで、モダリティ間の条件付き独立性を仮定し、ベイズの定理に基づいてProbEnを導出する。
• 欠損したモダリティからの検出を処理するために、確率的マージナリゼーションを用い、検出器が同時に作動しなくても耐障害性のある統合を実現する。
• 導出された確率的モデルを用いて、RGBおよび赤外検出器のスコアを統合することで、重複する検出に対して信頼度を向上させる。
• 境界ボックスの統合を拡張する際には、同じ確率的フレームワークを用いてボックス座標およびIoU推定に適用する。
• オフザシェルおよび自社で訓練した検出器（エンド・フェージャーおよびミッド・フェージャーのネットワークからのものも含む）の出力に対してもProbEnを適用する。
• 非最大抑制（NMS）をベースラインの統合戦略として用い、ProbEnが一方のモダリティの検出結果を単に破棄する代わりに、両方のモダリティからの証拠を保持することで、NMSを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 非学習型で確率論的根拠を持つ統合手法は、学習型統合アーキテクチャを上回る性能を発揮できるか？
• RQ2 一つのモダリティ（例：夜間のRGB）がオブジェクトを検出できない場合、確率的アンサンブルは欠損検出をどの程度適切に処理できるか？
• RQ3 条件付き独立性の仮定が破綻する場合でも、ProbEnは他の統合手法の出力を統合するのに一般化可能か？
• RQ4 ProbEnは、アライメント済み（KAIST）および非アライメント（FLIR）のマルチモーダル検出ベンチマークの両方で最先端の性能を達成できるか？
• RQ5 自転車のような、赤外では poorly visible だがRGBでは可視な挑戦的オブジェクトクラスの検出にProbEnが与える影響は？

主な発見

• FLIRベンチマークにおける自転車の検出では、ProbEnが73.49%のAPを達成し、次善の手法（GAFF）の72.90% APを顕著に上回った。
• FLIRデータセットでは、ProbEnが83.76%のmAPを達成し、先行研究の最良手法（ThermalDet、74.60% mAP）に対して13.5%の相対的改善を示した。
• KAISTベンチマークでも、ProbEnは先行研究の最良手法に対して13.2%の相対的改善を示し、データセット間で一貫した向上を確認した。
• 自転車の検出においても、ProbEnは73.49%（ThermalDetは60.04%）のAPを達成し、補完的モダリティを効果的に活用できることを裏付けた。
• エンドツーエンドで訓練されたモデル（例：MidFusion）の出力に対してもProbEnを統合することで、さらなる性能向上が得られ、Post-processing統合層としての汎用性を示した。
• NMSはシンプルであるが、驚くべきほど良好なベースライン性能を示したが、ProbEnは一方のモダリティの検出結果を単に抑制する代わりに、両方のモダリティからの証拠を統合することで、NMSを上回った。