[論文レビュー] Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset

Liqiang Lin, Yilin Liu+4 more|arXiv (Cornell University)|Jul 9, 2021

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

UrbanScene3D は、実世界の空中撮影と Unreal Engine と AirSim を用いた合成シミュレーションを統合した大規模かつマルチソースの都市景観データセットを提供する。これにより、高精細な 3D 再構築、航空パスプランニングのベンチマーク評価、自律エージェントのシミュレーションが可能となる。データセットには 128k 枚以上の高解像度画像、LiDAR スキャン、および 16 のシーンにわたる 136 km² の領域で詳細なインスタンスレベルのアノテーションが含まれており、パスプランニングおよび MVS アルゴリズムの評価に、真値の正確性と完全性の指標を提供する。

ABSTRACT

We present UrbanScene3D, a large-scale data platform for research of urban scene perception and reconstruction. UrbanScene3D contains over 128k high-resolution images covering 16 scenes including large-scale real urban regions and synthetic cities with 136 km^2 area in total. The dataset also contains high-precision LiDAR scans and hundreds of image sets with different observation patterns, which provide a comprehensive benchmark to design and evaluate aerial path planning and 3D reconstruction algorithms. In addition, the dataset, which is built on Unreal Engine and Airsim simulator together with the manually annotated unique instance label for each building in the dataset, enables the generation of all kinds of data, e.g., 2D depth maps, 2D/3D bounding boxes, and 3D point cloud/mesh segmentations, etc. The simulator with physical engine and lighting system not only produce variety of data but also enable users to simulate cars or drones in the proposed urban environment for future research.

研究の動機と目的

• 3D 視覚および再構築研究のため、実世界データと合成データを統合した包括的で大規模な都市景観データセットの不足を解消すること。
• 高精度な LiDAR スキャンと MVS 再構築結果を用いて、都市環境における航空パスプランニング戦略のベンチマーク評価を提供すること。
• 制御可能な照明、天候、物理的ダイナミクスを備えた、ドローンおよび自動車の現実的なシミュレーションを可能にすること。
• 豊富なアノテーションとマルチモodal データを活用して、3D インスタンスセグメンテーション、深度推定、新規ビュー合成のデータ駆動型研究を支援すること。
• 高精細な実際再構築と物理的に正確なシミュレーションを統合することで、合成シミュレーションと実世界の都市景観のドメインギャップを埋めること。

提案手法

• ドローンで撮影された空中画像を用いてマルチビューステレオ（MVS）技術を適用し、実都市地域の詳細でテクスチャが施された 3D メッシュを生成する。
• 再構築の正確性と完全性の評価のため、高精度な LiDAR スキャンを真値として用いる。
• Unreal Engine と AirSim を基盤にしたカスタムシミュレーションプラットフォームを構築し、物理ベースのドローンおよび車両のシミュレーションを実現。リアルな照明と天候制御が可能である。
• シーン内の各建物に対して一意のインスタンス ID を手動でアノテートし、3D インスタンスセグメンテーションとマルチビュー データの生成を可能にする。
• 斜方写真法、Smith ら [37]、Zhou ら [46]、Zhang ら [44] を含む、さまざまな航空パスプランニングアルゴリズムを実装・評価し、エネルギー効率と再構築品質を比較する。
• シミュレータは、2D 深度マップ、2D/3D バウンディングボックス、3D ポイントクラウド/メッシュセグメンテーションなど、さまざまなデータタイプを生成し、下流タスクに活用可能である。

実験結果

リサーチクエスチョン

• RQ1 異なる航空パスプランニング戦略は、3D 都市景観再構築の品質とエネルギー効率にどのように影響を与えるか？
• RQ2 UrbanScene3D の合成シミュレーションは、実世界の 3D 再構築および視覚タスクにどの程度一般化可能か？
• RQ3 高精度な LiDAR 真値と照らし合わせた場合、MVS パイプラインの再構築正確性と完全性はどの程度か？
• RQ4 UrbanScene3D シミュレータは、自律走行および 3D 視覚タスクのための現実的で多様なデータ生成にどの程度有効か？
• RQ5 実世界および合成都市景観の両方を含めることで、3D パノラマ理解における学習モデルのロバスト性と一般化性能は向上するか？

主な発見

• Zhou ら [46] が提案するパスプランナは、エネルギー消費を抑えながらも、斜方写真法よりも高い再構築品質を達成している。
• Zhang ら [44] の手法は、経路の連続性のおかげでバッテリー消費を低減しているが、Zhou ら [46] と比較してわずかに高い再構築誤差を示している。
• 斜方写真法はエネルギー効率が高く、建物同士の隠蔽と視野角の制限のため、再構築品質が最も粗い。
• 高精度な LiDAR スキャンの統合により、すべてのプランナに対して点レベルでの再構築正確性と完全性の評価が可能になった。
• シミュレータは、物理ベースのダイナミクス、照明、天候の変動を備えたドローンおよび車両の現実的なシミュレーションをサポートしており、学習および評価に向けた多様なデータ生成を可能にしている。
• データセットは 128k 枚以上の高解像度画像、136 km² の都市領域、詳細なインスタンスレベルのアノテーションを提供し、3D 都市認識および再構築の包括的ベンチマークを形成している。