[論文レビュー] Real-time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-driving Images

Lei Sun, Kailun Yang+3 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 47被引用数 9

ひとこと要約

本稿では、RGBと深度特徴を適応的特徴連結（AFC）モジュールを用いて融合することで、道路における小さな予期しない障害物の検出精度を向上させるリアルタイムRGB-DセマンティックセグメンテーションネットワークRFNetを提案する。本手法は、Cityscapesで22 FPSのフル解像度推論において72.5%のmIoUを達成し、速度と精度の両面で最先端のRGB-Dモデルを上回り、多様なデータセットを用いた訓練により、予期しない障害物検出の強靭性を実現する。

ABSTRACT

Semantic segmentation has made striking progress due to the success of deep convolutional neural networks. Considering the demands of autonomous driving, real-time semantic segmentation has become a research hotspot these years. However, few real-time RGB-D fusion semantic segmentation studies are carried out despite readily accessible depth information nowadays. In this paper, we propose a real-time fusion semantic segmentation network termed RFNet that effectively exploits complementary cross-modal information. Building on an efficient network architecture, RFNet is capable of running swiftly, which satisfies autonomous vehicles applications. Multi-dataset training is leveraged to incorporate unexpected small obstacle detection, enriching the recognizable classes required to face unforeseen hazards in the real world. A comprehensive set of experiments demonstrates the effectiveness of our framework. On Cityscapes, Our method outperforms previous state-of-the-art semantic segmenters, with excellent accuracy and 22Hz inference speed at the full 2048x1024 resolution, outperforming most existing RGB-D networks.

研究の動機と目的

• 自律走行用途に適したリアルタイムかつ高精度なRGB-Dセマンティックセグメンテーションフレームワークの開発を目的とする。
• RGB画像のみでは識別が難しい、破片、石、レンガなどの小さな予期しない道路障害物を検出する課題に対処することを目的とする。
• 深度情報を効果的に統合することで、テクスチャが欠落している、または曖昧な物体（マンホールカバー、落書きなど）のセグメンテーション精度を向上させることを目的とする。
• 複数のソースからの訓練を統合することで、標準データセットに含まれない予期しない障害物の検出を可能にし、セマンティックセグメンテーションの能力を定義済みクラスを超えて拡張することを目的とする。
• 精度を損なわず、2048×1024解像度で22 FPSの高い推論速度を達成することで、リアルタイム自律システムへの実装を可能とすることを目的とする。

提案手法

• RFNetは、RGBおよび深度の両モality固有の特徴を抽出するための二重スルムエンコーダアーキテクチャを採用する。
• 適応的特徴連結（AFC）モジュールは、複数スケールでRGBと深度特徴を動的に統合し、両モダリティの補完的特徴を活用する。
• CityscapesとLost and Foundデータセットを用いた多様体データセット訓練により、標準データセットに存在しない小さな予期しない障害物の検出が可能になる。
• エンコーダーブロックに深度スルムを統合することで、輪郭や空間的理解が向上し、テクスチャが曖昧な物体のセグメンテーション精度が向上する。
• 効率的な畳み込みブロックと軽量設計を用いて推論速度を最適化し、クロスエントロピー損失を用いたエンドツーエンドの訓練を実施する。
• モデルの量子化と単一のNVIDIA GTX 2080Ti GPU上でのデプロイにより推論が高速化され、2048×1024解像度で22 FPSを達成する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムRGB-D統合ネットワークは、RGBのみの手法に比べて、道路走行画像におけるセマンティックセグメンテーションの精度を顕著に向上させることができるか？
• RQ2 深度情報は、RGBで視覚的に曖昧な破片や石のような小さな予期しない障害物の検出をどの程度効果的に向上させることができるか？
• RQ3 多様体データセット訓練は、標準データセットに含まれない予測不能な危険要因への一般化能力をどの程度向上させるか？
• RQ4 統合ネットワークは、Cityscapesなどのベンチマークデータセットで最先端の精度を達成しつつ、高速な推論速度（≥20 FPS）を維持できるか？
• RQ5 提案されたAFCモジュールは、RGBと深度スルムからの補完的特徴を効果的に活用し、セグメンテーション性能を向上させることができるか？

主な発見

• RFNetは、Cityscapes検証セットで72.5%の平均交差率（mIoU）を達成し、以前の最先端RGB-D手法を上回る。
• 単一のNVIDIA GTX 2080Ti GPUを用いて、フル解像度のCityscapes画像（2048×1024）で22.2 FPSで実行可能であり、多数の既存RGB-Dネットワークを上回る。
• RFNetは、マンホールカバーと落書きにおける誤検出を著しく低減し、純粋にRGBに依存するSwiftNetと比較して、小さな障害物の検出精度が向上した。
• AFCモジュールは、RGBと深度特徴の効果的統合により特徴表現を向上させ、可視化研究で明確で正確な特徴マップが得られた。
• 多様体データセット訓練により、標準データセットに定義されていない予期しない小さな障害物の検出が可能となり、実世界での耐障害性が向上した。
• 定性的な結果から、RFNetは特に深度に敏感な領域（道路の輪郭や物体境界）において、より一貫性があり正確なセグメンテーションマスクを生成することが示された。