[論文レビュー] Small Obstacle Avoidance Based on RGB-D Semantic Segmentation

Minjie Hua, Yibing Nan+1 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Neural Network Applications参考文献 28被引用数 5

ひとこと要約

本論文では、光流の監視と運動ブラー増強を用いた二段階のRGB-Dセマンティックセグメンテーションネットワークを提案し、ロードロボットの正確な小形障害物検出を実現する。道路領域と障害物領域のセグメンテーションを精緻化し、時間的整合性を確保することで、屋内および屋外環境の両方で高い精度を達成し、従来手法に比べて小形障害物回避性能が顕著に向上する。

ABSTRACT

This paper presents a novel obstacle avoidance system for road robots equipped with RGB-D sensor that captures scenes of its way forward. The purpose of the system is to have road robots move around autonomously and constantly without any collision even with small obstacles, which are often missed by existing solutions. For each input RGB-D image, the system uses a new two-stage semantic segmentation network followed by the morphological processing to generate the accurate semantic map containing road and obstacles. Based on the map, the local path planning is applied to avoid possible collision. Additionally, optical flow supervision and motion blurring augmented training scheme is applied to improve temporal consistency between adjacent frames and overcome the disturbance caused by camera shake. Various experiments are conducted to show that the proposed architecture obtains high performance both in indoor and outdoor scenarios.

研究の動機と目的

• 従来の距離ベースおよび外観ベースの障害物検出システムがしばしば見逃す小形障害物を検出する課題に対処すること。
• 特に小形または低コントラストの障害物に対して、道路領域および障害物領域のセマンティックセグメンテーションの精度と安定性を向上させること。
• 連続する動画フレーム間での障害物検出の時間的整合性を確保し、カメラの振動に起因するジターや誤検出を低減すること。
• 実世界のデータセットを用いて、屋内および屋外の両環境に適用可能な、堅牢でエンドツーエンドの障害物回避システムを開発すること。

提案手法

• 二段階のエンコーダ・デコーダ型セマンティックセグメンテーションネットワークを提案：まず道路領域をセグメンテーションし、その後でそのセグメンテーション済みの道路領域内に障害物領域を精緻化する。
• 隣接フレーム間で光流の監視を適用し、セグメンテーション予測の時間的整合性を強制することで、フレーム間のちらつきや不安定性を低減する。
• カメラの振動をシミュレートするための運動ブラーに基づくデータ増強スキームを導入し、実世界の画像劣化に対する耐性を向上させる。
• セグメンテーション出力に対してモルホロジカル処理を適用し、障害物の境界を精緻化し、ノイズを除去する。
• 精緻化されたセマンティックマップに基づいて局所的パスプランニングを実行し、衝突のない軌道を生成する。
• RGBと深度入力を併用することで、単眼またはステレオビジョンのみでは達成できない、より洗練された意味的理解を向上させる。

実験結果

リサーチクエスチョン

• RQ1 二段階のセマンティックセグメンテーションネットワークは、単段階モデルに比べて小形障害物の検出精度を向上させることができるか？
• RQ2 光流の監視は、連続するRGB-Dフレーム間での障害物セグメンテーションの時間的整合性をどの程度向上させるか？
• RQ3 運動ブラーに基づくデータ増強は、カメラの振動や画像のぼやけに耐性を高めるためにどの程度有効か？
• RQ4 提案手法は、多様な照明条件や障害物種別を有する屋内および屋外環境でも、高い性能を維持できるか？

主な発見

• 運動ブラーによるデータ増強を施した後、屋内および屋外データセットにおけるmIoUがそれぞれ1.2%および0.4%向上した。
• 光流の監視を適用したことで、セグメンテーション結果の時間的整合性が顕著に向上し、連続フレームにおけるちらつきや誤検出が低減した。
• 本手法は、SegNet、RedNet、PSPNet、DeepLabv3+などのベースラインモデルが見逃す小形障害物（例：レンガ、破片）を正常に検出できた。
• ハウスドルフ距離を用いたパスプランニングの精度は、屋内では0.15m、屋外では0.27mに達し、ステレオベースの手法を上回った。
• 障害物検出率（ODR）はベースラインモデルに比べ顕著に高く、セグメンテーションの安定性向上により誤検出数（NOFP）が減少した。
• 図10の可視化結果は、複雑なシーンにおいても小形または不規則な障害物が存在する中で、滑らかで衝突のないパスを生成できることを示している。