[論文レビュー] Automated Detecting and Placing Road Objects from Street-level Images

Chaoquan Zhang, Hongchao Fan+3 more|arXiv (Cornell University)|Aug 29, 2019

Automated Road and Building Extraction参考文献 50被引用数 8

ひとこと要約

本論文では、2つの畳み込みニューラルネットワーク（CNN）を用いたセマンティックセグメンテーションとオブジェクト検出のパイプラインを提案し、ストリートレベルの画像から交通標識や信号機などの道路オブジェクトを自動的に検出し、位置特定する手法を提示する。さらに、空間的関係をモデル化し、OpenStreetMap（OSM）の特徴にオブジェクトをマッチングするための属性付きトポロジカルバイナリツリー（ATBT）を用いる。ベルリンにおける事例研究では、高い位置精度と完全性が達成され、交差点の正確なマッピングが可能となった。

ABSTRACT

Navigation services utilized by autonomous vehicles or ordinary users require the availability of detailed information about road-related objects and their geolocations, especially at road intersections. However, these road intersections are mainly represented as point elements without detailed information, or are even not available in current versions of crowdsourced mapping databases including OpenStreetMap(OSM). This study develops an approach to automatically detect road objects and place them to right location from street-level images. Our processing pipeline relies on two convolutional neural networks: the first segments the images, while the second detects and classifies the specific objects. Moreover, to locate the detected objects, we establish an attributed topological binary tree(ATBT) based on urban grammar for each image to depict the coherent relations of topologies, attributes and semantics of the road objects. Then the ATBT is further matched with map features on OSM to determine the right placed location. The proposed method has been applied to a case study in Berlin, Germany. We validate the effectiveness of our method on two object classes: traffic signs and traffic lights. Experimental results demonstrate that the proposed approach provides near-precise localization results in terms of completeness and positional accuracy. Among many potential applications, the output may be combined with other sources of data to guide autonomous vehicles

研究の動機と目的

• OpenStreetMapなどのクラウドソースマップにおいて、交差点における詳細で位置特定済みの道路オブジェクトデータが不足しているという問題に対処すること。
• ストリートレベルの画像のみを用いて、道路オブジェクトを自動で検出し、正確に配置するシステムを開発すること。
• 道路オブジェクトデータに意味的・空間的に正確な情報を追加することで、自動運転車両および一般ユーザーのナビゲーションサービスを向上させること。
• 属性付きトポロジカルバイナリツリー（ATBT）を用いて、道路オブジェクト間の複雑なトポロジカルおよび意味的関係をモデル化すること。

提案手法

• 2段階の畳み込みニューラルネットワーク（CNN）パイプラインを用いる：最初の段階はストリートレベルの画像のセマンティックセグメンテーション、2番目の段階はオブジェクト検出と分類。
• 各画像に対して、検出された道路オブジェクトのトポロジカル構造、空間的属性、意味的関係を符号化するための属性付きトポロジカルバイナリツリー（ATBT）を構築する。
• ATBTは、オブジェクト間の階層的および関係的情報を捉え、交差点における相対的位置関係や機能的役割を表現する。
• 類似度ベースのマッチングアルゴリズムを用いて、ATBTを既存のOpenStreetMap（OSM）の特徴と照合し、検出されたオブジェクトに正確な位置情報を割り当てる。
• 都市文法の原則を活用して、都市シーンにおける道路オブジェクトの妥当な空間的配置をモデル化する。
• 本システムは、ドイツのベルリンで実施された実世界の事例研究において、交通標識および信号機を対象として評価された。

実験結果

リサーチクエスチョン

• RQ1 ストリートレベルの画像を効果的に用いて、交通標識や信号機などの道路オブジェクトを高い精度で検出し、位置特定できるか？
• RQ2 道路オブジェクト間のトポロジカルおよび意味的関係をどのようにモデル化すれば、位置特定の精度が向上するか？
• RQ3 属性付きトポロジカルバイナリツリー（ATBT）は、OSMの既存のマップ特徴への検出オブジェクトのマッチングをどの程度向上できるか？
• RQ4 本手法は、複雑な交差点における完全性と位置精度の観点から、従来のマッピング手法と比較してどのように優れているか？

主な発見

• 提案手法は、交通標識および信号機の位置特定において高い位置精度を達成しており、OSMマップ特徴に対するほぼ正確な配置が実証された。
• ATBTを用いたモデリングにより、空間的および意味的関係を符号化することで、オブジェクトマッチングのロバスト性が著しく向上し、位置特定誤差が低減された。
• 本システムは、従来のマッピングが詳細を欠くことが多い複雑な都市交差点においても、道路オブジェクトの検出において高い完全性を達成した。
• ベルリンにおける事例研究により、実世界の条件下でも本手法の有効性が確認され、交通標識および信号機の両方の検出と配置に成功した。
• CNNベースの検出とトポロジカル推論の統合により、GPSデータが利用不可または不正確な場合でも、信頼性の高い位置特定が可能になった。