[論文レビュー] Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling

Sebastian Ramos, Stefan Gehrig+3 more|arXiv (Cornell University)|Dec 20, 2016

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、深層学習に基づくセマンティックセグメンテーションとステレオ幾何を組み合わせた新規融合フレームワークを提案する。このフレームワークにより、紛失物など小さな予期しない道路障害物の検出が可能となり、外観、文脈、3次元幾何的特徴をベイズ確率的融合によって統合したセマンティックおよびステレオStixel出力を利用することで、検出率が50%相対的に向上し、50mで90%以上の検出率を達成。リアルタイムで22Hzで動作する。

ABSTRACT

The detection of small road hazards, such as lost cargo, is a vital capability for self-driving cars. We tackle this challenging and rarely addressed problem with a vision system that leverages appearance, contextual as well as geometric cues. To utilize the appearance and contextual cues, we propose a new deep learning-based obstacle detection framework. Here a variant of a fully convolutional network is used to predict a pixel-wise semantic labeling of (i) free-space, (ii) on-road unexpected obstacles, and (iii) background. The geometric cues are exploited using a state-of-the-art detection approach that predicts obstacles from stereo input images via model-based statistical hypothesis tests. We present a principled Bayesian framework to fuse the semantic and stereo-based detection results. The mid-level Stixel representation is used to describe obstacles in a flexible, compact and robust manner. We evaluate our new obstacle detection system on the Lost and Found dataset, which includes very challenging scenes with obstacles of only 5 cm height. Overall, we report a major improvement over the state-of-the-art, with relative performance gains of up to 50%. In particular, we achieve a detection rate of over 90% for distances of up to 50 m. Our system operates at 22 Hz on our self-driving platform.

研究の動機と目的

• 小さな予期しない道路障害物（例：紛失物）を検出するという、重要ではあるが未だ十分に検討されていない課題に対処すること。
• 外観および文脈的情報を深層学習を用いて統合することで、幾何学的アプローチのみに依存するシステムの限界を克服すること。
• 高さ5cmの障害物を最大50mの距離で検出可能な、耐障害性に富んだリアルタイムの周辺環境認識システムを開発すること。
• 複雑で変動しやすい道路状況下でも、高い検出率を維持しながら誤検出を低減すること。
• セマンティックおよび幾何的検出出力を統合する原理的で確率的な融合フレームワークを構築すること。

提案手法

• 完全畳み込みネットワーク（FCN）の変種が、外観および文脈的情報を活用するため、ピクセル単位のセマンティックラベル付け（空き領域、道路上の障害物、背景）を実行する。
• FPHTアルゴリズムと統計的仮説検定を用いたステレオベースのシステムが、Stixel表現を介して3次元障害物検出を実現する。
• 信頼度スコアと障害物事前分布を用いて、セマンティックおよび幾何的検出結果をベイズ的融合フレームワークで統合する。
• Stixel表現により、両モダリティ間でコンactかつ柔軟で頑健な中レベルの障害物記述が可能となる。
• 確率的推論を用いてセマンティックおよび幾何的ソースからの証拠を統合し、誤検出制御のための信頼度しきい値を導入する。
• リアルタイム性能を最適化し、ステレオ処理のハードウェアアクセラレーションを備えた自律走行プラットフォーム上で22Hzで動作する。

実験結果

リサーチクエスチョン

• RQ1 外観および文脈的情報を活用することで、形状や外観が大きく異なる物体に対しても、深層学習モデルは小さな予期しない道路障害物を効果的に検出可能か？
• RQ2 ステレオビジョンからの幾何的特徴を、低高さの障害物の検出を向上させるために信頼性高く統合できるか？
• RQ3 セマンティックおよび幾何的検出システムの確率的出力を最適に統合する方法は何か？ これにより検出率を最大化し、誤検出を最小限に抑えることができるか？
• RQ4 学習された背景クラスは、未観測の障害物に対しても一般化可能であり、道路表面の変化や照明変化に対しても頑健性を維持できるか？
• RQ5 曲がりくねった道路、影、デカルブレーションといった実世界の課題条件下で、融合フレームワークの性能はどの程度維持されるか？

主な発見

• 提案手法は、Lost and FoundデータセットにおいてSOTA比で検出率が50%相対的に向上した。
• 高さ5cmの障害物に対しても、距離50mまでで90%以上の検出率を維持した。
• SOTA比で誤検出率が13%低減され、実際には2km走行あたり1件の誤検出に抑えられた。
• 個々のモダリティで見逃された検出（例：UONが背景クラスの混同により物体を見逃す、またはステレオシステムが小型障害物で失敗する）を融合システムが効果的に回復した。
• 自律走行プラットフォーム上で22Hzでリアルタイム動作し、SGMのエンドツーエンド遅延は45ms、FPHTは35ms、UONは40ms（専用ハードウェア上）を記録した。
• 確率的融合フレームワークにより、信頼度しきい値を用いた誤検出の直感的制御が可能となり、しきい値0.7まで高い検出率を維持した。