[論文レビュー] UrbanScene3D: A Large Scale Urban Scene Dataset and Simulator.

Yilin Liu, Fuyou Xue+1 more|arXiv (Cornell University)|Jul 9, 2021

Robotics and Sensor-Based Localization参考文献 8被引用数 10

ひとこと要約

UrbanScene3D は、航空写真から得られた写真的で詳細な3D再構築と、人工的なCADモデルを組み合わせた大規模な都市環境データセットおよびシミュレータを提供する。Unreal Engine 4 および AirSim に基づいて構築されており、自律的なエージェントの高精度なシミュレーションを可能にし、可視領域および隠れ領域におけるインスタンスセグメンテーション、深度マップ、3Dポイントクラウドなどの豊富なアノテーションを提供する。

ABSTRACT

The ability to perceive the environments in different ways is essential to robotic research. This involves the analysis of both 2D and 3D data sources. We present a large scale urban scene dataset associated with a handy simulator based on Unreal Engine 4 and AirSim, which consists of both man-made and real-world reconstruction scenes in different scales, referred to as UrbanScene3D. Unlike previous works that purely based on 2D information or man-made 3D CAD models, UrbanScene3D contains both compact man-made models and detailed real-world models reconstructed by aerial images. Each building has been manually extracted from the entire scene model and then has been assigned with a unique label, forming an instance segmentation map. The provided 3D ground-truth textured models with instance segmentation labels in UrbanScene3D allow users to obtain all kinds of data they would like to have: instance segmentation map, depth map in arbitrary resolution, 3D point cloud/mesh in both visible and invisible places, etc. In addition, with the help of AirSim, users can also simulate the robots (cars/drones)to test a variety of autonomous tasks in the proposed city environment. Please refer to our paper and website(https://vcc.tech/UrbanScene3D/) for further details and applications.

研究の動機と目的

• ロボットビジョン研究のための、合成データと現実世界の3Dシーンデータを統合した大規模で現実的な都市環境の不足を補うこと。
• 2Dおよび3Dデータソースを統合し、正確なインスタンスレベルのアノテーションを提供する統一プラットフォームを提供し、ビジョンシステムの訓練および評価を可能にすること。
• 正確なセンサデータ生成を可能にする多様な都市シナリオにおける自律走行車両およびドローンのシミュレーションを可能にすること。
• 可視領域および隠れ領域の両方における3Dシーン理解を必要とするビジョンアルゴリズムの開発を支援すること。

提案手法

• データセットは、航空写真から得られた高解像度で写真的リアリズムのある再構築と、人工的な3Dモデルを統合し、多様な都市シーンのコレクションを形成する。
• 各建物は手動でセグメンテーションされ、固有のインスタンスラベルが付与され、各シーンごとに詳細なインスタンスセグメンテーションマップが作成される。
• シミュレータはUnreal Engine 4およびAirSimを活用し、動的かつ柔軟なロボット（車両／ドローン）のデプロイとセンサデータ生成を可能にする。
• ユーザーは、カメラに見えない領域を含め、任意の解像度での3Dポイントクラウドおよびメッシュの抽出が可能で、包括的なシーン解析を支援する。
• システムは、深度マップ、テクスチャ付き3Dモデル、および現実のロボットセンシング条件を模倣するセンサデータストリームの生成をサポートする。
• 設定可能なロボット行動およびセンサ構成を許容することで、自律ナビゲーションタスクのシミュレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、合成データと現実世界の3D再構築を統合した大規模な都市シーンデータセットを構築し、リアルリズムを向上させることができるか？
• RQ2 Unreal Engine 4およびAirSimに基づくシミュレータは、複雑な都市環境におけるリアルなロボットビジョンおよびナビゲーションタスクをどの程度効果的にサポートできるか？
• RQ3 インスタンスセグメンテーションとマルチモーダルセンサデータ（深度、ポイントクラウド）を統合した統一データセットは、ビジョンモデルの訓練および評価をどのように改善できるか？
• RQ4 このようなデータセットは、可視領域および隠れ領域の両方における自律エージェントのシミュレーションをどの程度効果的にサポートできるか？

主な発見

• UrbanScene3D は、コンactなCADモデルと、航空写真からの詳細な現実世界の再構築を併せ持つ大規模な都市データセットを提供する。
• データセット内の各建物は手動でラベル付けされており、各シーンごとに正確なインスタンスセグメンテーションマップが得られる。
• このデータセットは、可視領域および非可視領域の両方における3Dポイントクラウドおよびメッシュの生成を可能にし、包括的なシーン理解を支援する。
• AirSimとの統合により、多様な都市シナリオにおける自律走行車両およびドローンのリアルなシミュレーションが可能になる。
• ユーザーは任意の解像度での深度マップおよび完全なインスタンスレベルのアノテーションが施されたテクスチャ付き3Dモデルを抽出できる。
• 多様で高精細なセンサデータ出力を提供することで、幅広いビジョンタスクをサポートするプラットフォームが実現される。