[論文レビュー] Robust Deep Multi-Modal Sensor Fusion using Fusion Weight Regularization and Target Learning

Myung Seok Shim, Chenye Zhao+4 more|arXiv (Cornell University)|Jan 29, 2019

Robotics and Sensor-Based Localization参考文献 18被引用数 5

ひとこと要約

本論文では、融合重み正則化と単調なターゲット学習を用いて、センサ障害に強い耐性を示す、ロバストなディープマルチモodalセンサ連合アーキテクチャであるARGateを提案する。補助的ユニモーダルネットワークを導入し、正則化された損失関数と制約付きの融合重みを適用することで、正常入力および汚損入力の両状況下で、精度と解釈可能性が向上し、ベースラインを最大13.39%上回る性能を達成する。

ABSTRACT

Sensor fusion has wide applications in many domains including health care and autonomous systems. While the advent of deep learning has enabled promising multi-modal fusion of high-level features and end-to-end sensor fusion solutions, existing deep learning based sensor fusion techniques including deep gating architectures are not always resilient, leading to the issue of fusion weight inconsistency. We propose deep multi-modal sensor fusion architectures with enhanced robustness particularly under the presence of sensor failures. At the core of our gating architectures are fusion weight regularization and fusion target learning operating on auxiliary unimodal sensing networks appended to the main fusion model. The proposed regularized gating architectures outperform the existing deep learning architectures with and without gating under both clean and corrupted sensory inputs resulted from sensor failures. The demonstrated improvements are particularly pronounced when one or more multiple sensory modalities are corrupted.

研究の動機と目的

• センサ障害下における既存のディープラーニングベースのセンサ連合モデルの耐性の欠如に対処する。
• マルチモーダル連合アーキテクチャにおける特徴の重要度の解釈可能性と融合重みの一貫性を向上させる。
• 1つ以上のモダリティが故障またはノイズを発生させても耐性を保つゲーミング機構を開発する。
• 訓練中に融合重み学習を安定化させるための正則化技術を導入する。
• 自動運転や健康モニタリングを含む多様なセンサ連合タスクにおける性能を向上させる。

提案手法

• 主モデルにおける融合重み学習を制御するための補助的ユニモーダルネットワークを備えたゲーミングアーキテクチャであるARGateを提案する。
• 補助損失を用いた融合重み正則化を適用し、学習された融合重みを安定化および制約する。
• 訓練サンプル全体にわたって一貫性があり、解釈可能な融合重みを強制するため、単調な融合ターゲット学習を実装する。
• シグモイド活性化関数を用いた融合重みを統合し、重要度に応じてモダリティを動的にスケーリングすることで、障害に強い耐性を実現する。
• 主連合ネットワークを、ユニモーダルブランチからの補助的監視により訓練することで、一般化性能と重みの安定性を向上させる。
• エアリー、レイト、ディープ連合戦略をベースラインとして比較し、ARGateはディープゲーテッド連合フレームワークとして動作する。

実験結果

リサーチクエスチョン

• RQ1 融合重み正則化は、センサ障害下におけるマルチモーダルセンサ連合の耐性を向上させることができるか？
• RQ2 単調な融合ターゲット学習は、学習された融合重みの一貫性と解釈可能性にどのように影響するか？
• RQ3 補助的ユニモーダルネットワークアーキテクチャは、標準的なゲーミングモデルと比較して、汚損入力下での性能向上にどの程度寄与するか？
• RQ4 複数の感覚モダリティが同時に故障した場合、提案手法は性能を維持または向上させることができるか？
• RQ5 多様なデータセットにおいて、非ゲーティングおよび既存のゲーティングアーキテクチャ（例：NetGated）と比較して、ARGateは精度と耐性の面でどのように差をつけるか？

主な発見

• ドライバー識別データセットにおいて、ARGate-Lは5つの健全なチャネルを有するランダムなセンサ障害割り当て下で、NetGatedを13.39%上回る精度向上を達成した。
• KITTIデータセットでは、ARGate-Lがテストセットにおけるハード難易度で3D車両検出APを4.81%向上、ミディアム難易度で4.63%向上した。
• HARデータセットでは、ARGate+がベースラインおよびNetGatedをそれぞれ8.25%および6.27%上回り、均一なノイズセンサ障害下（5つの健全なチャネル）で優れた性能を示した。
• ARGate-Lは、固定およびランダムなセンサ障害割り当ての両方のテスト条件下で一貫した優位性を示し、性能の低下を示さなかった。
• 融合重み正則化と単調なターゲット学習のコンponentsは、ノイズ混在または汚損入力下での重みの不一致を顕著に低減し、耐性を向上させた。
• KITTIバリデーションセットでは、ARGate-LがAVODベースラインに対して3D検出AP（ミディアム難易度）で1.17%向上、BEV APで0.4%向上した。