[論文レビュー] Learning from Maps: Visual Common Sense for Autonomous Driving

Ari Seff, Jianxiong Xiao|arXiv (Cornell University)|Nov 25, 2016

Automated Road and Building Extraction参考文献 10被引用数 32

ひとこと要約

本論文では、OpenStreetMap および Google Street View から自動的にラベル付けされたデータを用いて、単一のモノクローラル RGB ストリートビュー画像から交差点までの距離、片側通行対両側通行、速度制限などの道路レイアウト属性を推定する自己教師付き深層学習手法を提案する。モデルは、交差点までの距離推定において人間のベースラインと比較して2倍の性能を示し、その他の回帰タスクにおいても人間のベースラインと同等またはそれ以上の性能を達成している。

ABSTRACT

Today's autonomous vehicles rely extensively on high-definition 3D maps to navigate the environment. While this approach works well when these maps are completely up-to-date, safe autonomous vehicles must be able to corroborate the map's information via a real time sensor-based system. Our goal in this work is to develop a model for road layout inference given imagery from on-board cameras, without any reliance on high-definition maps. However, no sufficient dataset for training such a model exists. Here, we leverage the availability of standard navigation maps and corresponding street view images to construct an automatically labeled, large-scale dataset for this complex scene understanding problem. By matching road vectors and metadata from navigation maps with Google Street View images, we can assign ground truth road layout attributes (e.g., distance to an intersection, one-way vs. two-way street) to the images. We then train deep convolutional networks to predict these road layout attributes given a single monocular RGB image. Experimental evaluation demonstrates that our model learns to correctly infer the road attributes using only panoramas captured by car-mounted cameras as input. Additionally, our results indicate that this method may be suitable to the novel application of recommending safety improvements to infrastructure (e.g., suggesting an alternative speed limit for a street).

研究の動機と目的

• 高精度地図を用いないリアルタイムの道路レイアウト推定システムの開発。
• 道路属性予測のためのラージスケールで完全にアノテートされたデータセットの不足に取り組む。
• 自律走行車両が高精度地図をリアルタイムで確認または補完でき、安全性と耐障害性を向上させること。
• 学習された視覚的常識を活用してインfra構造改善の提案（例：速度制限の見直し）を行うという、画期的な応用の探求。

提案手法

• Google Street View パノラマ写真と OpenStreetMap の道路ベクトルを活用し、100万枚の画像からなる大規模で自動ラベル付けされたデータセットを構築する。
• 画像の位置を OSM メタデータと照合することで、道路属性（例：片側通行対両側通行、速度制限、レーン数）の真値ラベルを抽出する。
• 単一の RGB 画像から道路レイアウト属性を予測するため、分類および回帰タスクの両方に対応した深層畳み込みニューラルネットワーク（ConvNets）を訓練する。
• 回帰タスク（例：交差点までの距離、進行方向角度）には標準的な ConvNet アーキテクチャを微調整し、分類タスク（例：交通の方向性）に対しても適用する。
• 再アノテーションを必要とせずに、時間経過に伴うインfra変更に対しても汎用性を発揮するようにモデルを設計しており、同じストリートの2009年と2014年の画像でその有効性を実証した。
• 1地域（例：サンフランシスコ）で学習し、他の地域（例：パリ）でテストすることで、最小限の微調整で転移学習が可能であるように設計している。

実験結果

リサーチクエスチョン

• RQ1 高精度地図に依存せずに、単一のストリートビュー画像から深層学習モデルが道路レイアウト属性を正確に予測できるか？
• RQ2 オープンソース地図およびストリートビュー データで自己教師付きに学習させたモデルは、実世界の変化やインfra変更にどの程度一般化できるか？
• RQ3 モデルの予測結果を用いて、視覚的外観と公式地図データの不一致を検出でき、インfra構造改善の提案に活用できるか？
• RQ4 交差点までの距離や速度制限といった数値的道路上属性の推定において、モデルは人間のベースラインをどの程度上回るか？
• RQ5 最小限の適応で地域間を横断してモデルを転送可能か。これは、地域ごとの視覚的およびインfra的差異に対してモデルがどの程度頑健であるかを示す。

主な発見

• 交差点までの距離推定において、モデルは人間のベースラインの約2倍の精度を達成し、平均絶対誤差（MAE）が人間の性能を著しく下回っている。
• 4つの回帰タスクのうち3つ（交差点までの距離、進行方向角度、速度制限）において、モデルは人間のベースラインと同等またはそれ以上の性能を示している。
• 再アノテーションを必要とせずに、1方向通行の道路が2方向通行に変わったなどの道路構造の変化を正しく同定している。
• レーン数推定タスクは性能が低かった（MAE = 0.9）が、人間のベースライン（MAE = 0.6）を下回っており、OSM のラベルが疎で曖昧であることが原因とされる。
• モデルの予測結果は、視覚的外観と公式地図データの間の潜在的な不一致を明らかにし、速度制限の見直しのようなインfra改善の提案という画期的な応用が可能であることを示している。
• モデルは時間的および地理的要因にわたって優れた一般化性能を示しており、地域間で最小限の微調整で転移学習が可能であることが示唆されている。