[論文レビュー] Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy

Dan Barnes, Will Maddern+1 more|arXiv (Cornell University)|Oct 5, 2016

Autonomous Vehicle Technology and Safety参考文献 27被引用数 9

ひとこと要約

本論文は、データ収集車両の単眼カメラとセンサデータを用いることで、手動ラベリングを一切行わず、大規模かつ自動的にラベル付けされた学習データを生成する弱教師付き手法を提案する。車両の軌道と障害物検出データを弱教師信号として活用することで、KITTIおよびOxford RobotCarデータセットにおいて多様な条件下でも、走行可能領域と障害物のセグメンテーションが堅牢に実現可能である。

ABSTRACT

We present a weakly-supervised approach to segmenting proposed drivable paths in images with the goal of autonomous driving in complex urban environments. Using recorded routes from a data collection vehicle, our proposed method generates vast quantities of labelled images containing proposed paths and obstacles without requiring manual annotation, which we then use to train a deep semantic segmentation network. With the trained network we can segment proposed paths and obstacles at run-time using a vehicle equipped with only a monocular camera without relying on explicit modelling of road or lane markings. We evaluate our method on the large-scale KITTI and Oxford RobotCar datasets and demonstrate reliable path proposal and obstacle segmentation in a wide variety of environments under a range of lighting, weather and traffic conditions. We illustrate how the method can generalise to multiple path proposals at intersections and outline plans to incorporate the system into a framework for autonomous urban driving.

研究の動機と目的

• レーンマークが存在しない、または一貫性のない複雑な都市部環境における自律走行パスセグメンテーションの課題に対処すること。
• 自動運転におけるセマンティックセグメンテーションのための手動ラベル付きデータセットの高コストとスケーラビリティの制限を克服すること。
• 手動ピクセルレベルラベルを一切必要とせず、車両の軌道と障害物検出による弱教師信号のみを用いて、深層セグメンテーションネットワークのエンドツーエンド学習を可能にすること。
• 実世界の都市データセットにおける多様な照明、天候、交通密度の条件下でも、パス提案セグメンテーションの堅牢な一般化性能を示すこと。
• 交差点での複数ルート予測を可能にし、トポロジカルナビゲーションへの統合や完全な自律走行システムへの将来的な統合を支援すること。

提案手法

• 記録された車両軌道と障害物検出データ（LiDAR や超音波センサなど）を用いて、単眼画像における走行可能領域と障害物の弱教師付きピクセルレベルラベルを生成する。
• カメラキャリブレーションとオドメトリを用いて、3次元の軌道と障害物データを2次元画像空間に投影し、擬似正例セグメンテーションマスクを生成する。
• 自動的に生成されたラベル付きデータ上で標準的な深層セマンティックセグメンテーションネットワーク（例：SegNet）を学習させ、推論時に単一の単眼画像からパスと障害物領域を予測する。
• データ収集時のドライバー行動の一貫性を活用し、マークのないまたは複雑な道路でも、パス提案が期待される走行経路と整合するように保証する。
• データ収集中に捉えられた実世界の走行状況の多様性を通じて、データオーグメンテーションとドメイン適応技術を暗黙的に適用する。
• 学習済みネットワークを自律走行の計画パイプラインに統合し、交差点でのルート選択を複数の予測パス提案に基づいて可能にする。

実験結果

リサーチクエスチョン

• RQ1 車両軌道と障害物検出から得られる弱教師信号が、手動ピクセルレベルラベルを一切必要とせずに、走行可能領域と障害物の正確なセマンティックセグメンテーションを可能にするか？
• RQ2 変動する照明、天候、交通密度などの多様な実世界の条件下でも、弱教師付きモデルの一般化性能はどの程度高いか？
• RQ3 訓練データに1つのパスしか存在しなかったとしても、交差点での複数の妥当なパス提案をモデルが学習できるか？
• RQ4 障害物およびパスセグメンテーションの精度において、手動ラベル付きデータセットで学習したモデルと比較して、性能にどの程度差があるか？
• RQ5 都市部環境において、明示的なレーンマーク検出や道路構造モデリングに依存する程度はどの程度低減できるか？

主な発見

• 弱教師付きアプローチは、KITTI Object and Trackingベンチマークで93.53％のピクセルリcallと99.55％のインスタンスリcall（閾値＞50％）を達成し、手動ラベル付きデータで学習したモデルを上回った。
• Oxford RobotCarデータセットでは、すべてのテスト条件（晴天、曇天、雨天、雪天、夜間）で堅牢な性能を示した。
• 交差点では、ネットワークが頻繁に複数の妥当なパス提案を生成しており、トポロジカルルートプランニングへの応用が可能であることが示された。
• 失敗事例の多くは、センサの限界（過剰露出・不足露出、狭い視野角）に起因しており、より優れたカメラハードウェアにより多くの問題が軽減可能であると示唆された。
• 本手法は、車両、人物、その他の物体にわたる全オブジェクトクラスで障害物を正しくセグメンテーションした。これは、安全に重要な用途における優れた一般化性能を示している。
• 本手法により、高価なLiDARや明示的なレーンマークモデリングを一切不要とし、単眼カメラのみで自律走行パスセグメンテーションを実現できるようになった。