[論文レビュー] Enabling Efficient Deep Convolutional Neural Network-based Sensor Fusion for Autonomous Driving

Xiaoming Zeng, Zhendong Wang+1 more|arXiv (Cornell University)|Feb 22, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、要素ごとの融合における特徴マッチングの不一致を解消することで、自律走行における深層畳み込みニューラルネットワーク（DCNN）ベースのセンサフュージョンを向上させる特徴マッチングフレームワークを提案する。特徴乖離度の指標、特徴マッチングのためのFusion-filter、計算コストを低減するためのLayer-sharing、および学習を支援するための特徴乖離損失を導入し、最先端の手法と比較してKITTIで高い精度と低い推論オーバーヘッドを達成した。

ABSTRACT

Autonomous driving demands accurate perception and safe decision-making. To achieve this, automated vehicles are now equipped with multiple sensors (e.g., camera, Lidar, etc.), enabling them to exploit complementary environmental context by fusing data from different sensing modalities. With the success of Deep Convolutional Neural Network(DCNN), the fusion between DCNNs has been proved as a promising strategy to achieve satisfactory perception accuracy. However, mainstream existing DCNN fusion schemes conduct fusion by directly element-wisely adding feature maps extracted from different modalities together at various stages, failing to consider whether the features being fused are matched or not. Therefore, we first propose a feature disparity metric to quantitatively measure the degree of feature disparity between the feature maps being fused. We then propose Fusion-filter as a feature-matching techniques to tackle the feature-mismatching issue. We also propose a Layer-sharing technique in the deep layer that can achieve better accuracy with less computational overhead. Together with the help of the feature disparity to be an additional loss, our proposed technologies enable DCNN to learn corresponding feature maps with similar characteristics and complementary visual context from different modalities to achieve better accuracy. Experimental results demonstrate that our proposed fusion technique can achieve better accuracy on KITTI dataset with less computational resources demand.

研究の動機と目的

• 従来のDCNNベースの中間融合において、異なるモodalの特徴マップが意味的対応関係を考慮せずに融合されることに起因する特徴不一致問題を解決すること。
• 視覚的特徴の違いを測定する新しい指標を用いて、異なるセンサーからの融合特徴マップ間の特徴乖離を定量化すること。
• 異なるモダリティからの特徴を要素和算の前にアライメントする学習可能なメカニズムであるFusion-filterを導入し、融合精度を向上させること。
• 特徴の類似度に基づいてモダリティブランチ間でフィルタを再利用することで、深層部における計算コストを低減するLayer-sharingを提案すること。
• バックプロパゲーション中に特徴乖離損失を補助目的として組み込むことで、学習の安定性と特徴のアライメントを向上させること。

提案手法

• 異なるセンサー（例：RGBとLiDAR）からの特徴マップ間の視覚的特徴の違いを定量化するための特徴乖離（FD）指標を導入する。
• 融合の前に異なるモダリティ間の特徴をマッチングする学習可能なモジュールであるFusion-filterを提案する。これにより、意味的に整合する特徴のみが組み合わされる。
• 深層部におけるモダリティブランチ間で畳み込みフィルタを共有するLayer-sharingアーキテクチャを設計し、モデルパラメータ数とMAC数を削減する。
• 融合された特徴マップ間のFDを最小化するように学習を促進するため、特徴乖離損失を追加の訓練目的として導入する。
• スケジュールされた特徴統合により、早期融合、中間融合、後期融合の利点を組み合わせたマルチステージの融合戦略を採用する。
• 評価にはKITTIデータセットを用い、提案された構成要素を有するモデルとないモデルを訓練し、精度と効率への影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル特徴の要素ごとの融合における特徴不一致は、自律走行における認識精度を低下させるか？
• RQ2 異なるセンシングモダリティからの特徴間の不一致を効果的に測定できる定量的特徴乖離指標は可能か？
• RQ3 学習可能な統合メカニズム（Fusion-filter）は特徴マッチングを向上させ、結果としてセグメンテーション精度を向上させられるか？
• RQ4 深層部におけるLayer-sharingは、精度を損なわずに計算コストを低減できるか？
• RQ5 訓練中に特徴乖離損失を組み込むことで、より良い特徴アライメントと性能向上が達成できるか？

主な発見

• 提案された特徴乖離損失はモデル性能を顕著に向上させ、特に挑戦的なUU道路シーンでBaseLossが最高のFスコアを達成し、ベースラインを上回った。
• 単方向のFusion-filterを用いるAllFilter_Uは、3つの道路シーンすべてでベースラインを上回り、5つの指標のうち3つで上位3位以内にランクされた。
• 双方向のFusion-filterを備えるAllFilter_Bは、UMおよびUMMのシーンでベースラインを上回る精度を達成し、よりバランスの取れたセグメンテーション結果を示した。
• BaseSharingは、UMMシーンで最も高い精度を達成し、パラメータ数とMAC数の両面で最も低い計算コストを実現した。
• 動的重み調整を行うWeightedSharingは、3つの道路シーンすべてでベースラインを上回り、UUシナリオでは3つの指標で最高の性能を達成したが、パラメータ数は少なくてもよかった。
• アブレーションスタディの結果、特徴乖離損失を用いて訓練されたモデルは、それ以外のモデルと比較して一貫して優れた性能を示し、提案された損失の有効性を裏付けた。