[論文レビュー] SkipcrossNets: Adaptive Skip-cross Fusion for Road Detection

Yan Gong, Xinyu Zhang+8 more|arXiv (Cornell University)|Aug 24, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿では、LiDAR点群とカメラ画像の動的で多層的な統合を可能にする、新たな適応的スイープクロス統合アーキテクチャであるSkipcrossNetsを提案する。すべての層にわたる密なモダリティ間スイープ接続を構築することで、最適な統合ポイントを適応的に選択する。KITTIでは96.85%のMaxF、A2D2では84.84%のF1を達成し、最先端の性能を発揮する一方で、2.33 MBの小型モデルサイズと68.24 FPSの推論速度を維持し、リアルタイムデプロイメントに適している。

ABSTRACT

Multi-modal fusion is increasingly being used for autonomous driving tasks, as different modalities provide unique information for feature extraction. However, the existing two-stream networks are only fused at a specific network layer, which requires a lot of manual attempts to set up. As the CNN goes deeper, the two modal features become more and more advanced and abstract, and the fusion occurs at the feature level with a large gap, which can easily hurt the performance. To reduce the loss of height and depth information during the process of projecting point clouds into 2D space, we utilize calibration parameters to project the point cloud into Altitude Difference Images (ADIs), which exhibit more distinct road features. In this study, we propose a novel fusion architecture called Skip-cross Networks (SkipcrossNets), which combine adaptively ADIs and camera images without being bound to a certain fusion epoch. Specifically, skip-cross fusion strategy connects each layer to each layer in a feed-forward manner, and for each layer, the feature maps of all previous layers are used as input and its own feature maps are used as input to all subsequent layers for the other modality, enhancing feature propagation and multi-modal features fusion. This strategy facilitates selection of the most similar feature layers from two modalities, enhancing feature reuse and providing complementary effects for sparse point cloud features. The advantages of skip-cross fusion strategy is demonstrated through application to the KITTI and A2D2 datasets, achieving a MaxF score of 96.85% on KITTI and an F1 score of 84.84% on A2D2. The model parameters require only 2.33 MB of memory at a speed of 68.24 FPS, which can be viable for mobile terminals and embedded devices.

研究の動機と目的

• 2ストリームネットワークにおけるマルチモodal道路検出のための最適でない統合タイミングの課題に対処すること。
• 深層ネットワークにおける統合層選択のための手動ハイパーパramータチューニングへの依存を低減すること。
• 疎なLiDAR特徴と高解像度のカメラ特徴の間での特徴伝搬と補完性を向上させること。
• 組み込み型およびモバイル用自律走行システムに適した軽量でリアルタイム対応のモデルを開発すること。
• モダリティ間で階層を跨ぐ適応的でクロスレベルの統合を可能にすることで、疎な点群データにおける性能を向上させること。

提案手法

• 各層の特徴マップを、他のモダリティのすべての後続層に順方向に接続するスイープクロス統合機構を提案する。
• 特徴レベルにわたる最適な統合重みを学習することで、適応的かつ動的統合を実現するスイープクロスブロックを導入する。
• 残差ブロック（ResNet34バックボーン）を用いたマルチスケールエンコーダデコーダアーキテクチャを採用し、空間的詳細の保持と特徴学習の強化を図る。
• エンコーダからデコーダへのスイープ接続を活用し、低レベル特徴の保持と解像度回復の改善を実現する。
• 3次元LiDAR点群を2次元空間に投影するための適応的距離画像（ADIs）を適用し、疎なデータに対する特徴表現を強化する。
• わずか2.33 MBのパラメータ数を有する軽量なネットワーク構造を設計し、68.24 FPSの高速推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数の特徴レベルにわたるマルチモダリティ統合を、手動の統合タイミング選択を回避できるようにどのように適応的に実現できるか？
• RQ2 階層を跨ぐ密なスイープ接続が、LiDARとカメラモダリティ間の特徴補完性に与える影響は何か？
• RQ3 モデルの複雑さを増加させることなく、適応的統合によって疎なLiDARデータにおける性能を向上させられるか？
• RQ4 提案手法のスイープクロス統合は、初期統合、中間統合、後期統合の各戦略と比較して、精度と効率の面でどのように差がつくか？
• RQ5 この統合メカニズムは、異なるネットワークアーキテクチャーやデータセットに広く一般化できるか？

主な発見

• SkipcrossNetsはKITTIデータセットで96.85%のMaxFスコアを達成し、既存手法を上回った。
• A2D2データセットではF1スコアが84.84%に達し、多様な道路シーンにおける強力な一般化性能を示した。
• 推論速度は68.24 FPSに達し、モバイルおよび組み込みプラットフォームへのリアルタイムデプロイメントに適している。
• モデルサイズはわずか2.33 MBであり、類似する最先端モデルと比較して顕著に小型化されている。
• アブレーションスタディの結果、スイープクロス統合により、KITTIではMaxFが1.11%向上、A2D2ではF1が1.18%向上した。
• ResNet34バックボーンとスイープ接続の追加により、性能がさらに向上し、MaxFは1.32%、F1は1.27%向上した。