[論文レビュー] Robust Deep Multi-modal Learning Based on Gated Information Fusion Network

Jaekyum Kim, Junho Koh+4 more|arXiv (Cornell University)|Jul 17, 2018

Video Surveillance and Tracking Methods参考文献 34被引用数 11

ひとこと要約

本稿では、RGBおよびLiDarなどの異なるモodalからの特徴量の品質に応じて重みを適応的に割り当てることで、劣化または欠落した入力を処理できる選択的統合を可能にする、ゲート型情報統合（GIF）ネットワークを用いたロバストなディープマルチモーダル学習フレームワークを提案する。この手法はKITTIおよびSUN-RGBDデータセットにおいて最先端の性能を達成しており、特に遮蔽、ノイズ、照明変化などの悪条件下でも、ベースラインモデルと比較して顕著な優位性を示し、mAPで顕著な向上を達成している。

ABSTRACT

The goal of multi-modal learning is to use complimentary information on the relevant task provided by the multiple modalities to achieve reliable and robust performance. Recently, deep learning has led significant improvement in multi-modal learning by allowing for the information fusion in the intermediate feature levels. This paper addresses a problem of designing robust deep multi-modal learning architecture in the presence of imperfect modalities. We introduce deep fusion architecture for object detection which processes each modality using the separate convolutional neural network (CNN) and constructs the joint feature map by combining the intermediate features from the CNNs. In order to facilitate the robustness to the degraded modalities, we employ the gated information fusion (GIF) network which weights the contribution from each modality according to the input feature maps to be fused. The weights are determined through the convolutional layers followed by a sigmoid function and trained along with the information fusion network in an end-to-end fashion. Our experiments show that the proposed GIF network offers the additional architectural flexibility to achieve robust performance in handling some degraded modalities, and show a significant performance improvement based on Single Shot Detector (SSD) for KITTI dataset using the proposed fusion network and data augmentation schemes.

研究の動機と目的

• 入力モーダルが劣化または欠落している状況下でも、マルチモーダル学習のロバスト性を確保すること。
• 各モーダルからの情報フローを特徴量の品質に応じて適応的に制御するディープ統合アーキテクチャを設計すること。
• 遮蔽、ノイズ、照明変化などの悪条件下でもオブジェクト検出性能を向上させること。
• 学習可能なゲーティングメカニズムを用いて、各モーダルに動的重みを割り当てる、トレーニング可能なエンド・トゥ・エンド統合メカニズムを開発すること。
• 本手法のロバスト性および一般化性能が、多様な現実世界のセンサ劣化シナリオにわたって検証されること。

提案手法

• 本手法は、RGBおよびLiDar画像などの各モーダルから中間特徴量を抽出するために、個別の畳み込みニューラルネットワーク（CNN）を採用する。
• ゲート型情報統合（GIF）ネットワークは、学習されたゲーティングメカニズムを用いて、モーダル固有の重みを計算することで、これらの特徴量を統合する。
• ゲーティング重みは、特徴マップを連結した後に畳み込み層を適用し、その後シグモワイド関数を適用することで生成される重み生成（WG）ネットワークによって生成される。
• GIFネットワークは、特徴量とその対応する重みを要素ごとに乗算することで、入力品質に応じた選択的統合を実現する。
• CNNバックボーンとGIFを含む全アーキテクチャは、人工的な劣化を導入する独自のデータオーグメンテーション戦略を用いてエンド・トゥ・エンドで学習される。
• 統合戦略により、ブランク化または遮蔽された領域からの信頼性の低い特徴量を抑制し、高品質な入力を強調することができる。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル学習システムは、1つ以上の入力モーダルが劣化している場合でも、どのようにしてロバストな性能を維持できるか？
• RQ2 学習可能なゲーティングメカニズムは、入力品質に応じて各モーダルの寄与度を動的に調整できるか？
• RQ3 ゲート型ネットワークによる適応的特徴統合は、固定または非適応的統合戦略に比べて、悪条件下でのオブジェクト検出において優れた性能を示すか？
• RQ4 現実世界の劣化を模擬するデータオーグメンテーションは、マルチモーダル統合モデルのロバスト性をどの程度向上させるか？
• RQ5 本手法は、通常状態および劣化状態の両方において、最先端の2Dオブジェクト検出器と比較してどのように評価されるか？

主な発見

• KITTIデータセットにおいて、提案手法R-DMLは、すべての難易度レベルでSSD、3DOP、Mono3D、Deep Manta、MV3Dと同等または高い平均平均精度（mAP）を達成している。
• RGB画像の遮蔽が生じた状況下で、R-DMLは35.65 mAPを達成し、同じテストスプリットでB-DML（29.39 mAP）およびSSD（30.76 mAP）を顕著に上回っている。
• RGBモーダルがブランク化された場合、R-DMLは30.76 mAPを維持するが、B-DMLは28.37 mAPに低下し、欠落データに対する優れたロバスト性を示している。
• 拡張されたSUN-RGBDデータセットでは、R-DMLはRGB+depth入力で40.43 mAPを達成し、B-DML（36.31 mAP）および監視転送法（26.68 mAP）を上回っている。
• ノイズや照明変化などの重度の劣化下でも、R-DMLは強力な性能（例：ノイズRGBでは32.76 mAP）を維持しており、全テストシナリオでB-DMLおよびSSDを上回っている。
• GIFメカニズムは、遮蔽またはブランク化された領域では近似的にゼロの重みを学習し、低品質な特徴量を効果的に抑制している一方で、他のモーダルからの高品質な寄与を保持していることが実証された。