[論文レビュー] HoliCity: A City-Scale Data Platform for Learning Holistic 3D Structures

Yichao Zhou, Jingwei Huang+5 more|arXiv (Cornell University)|Aug 7, 2020

Advanced Vision and Imaging参考文献 46被引用数 24

ひとこと要約

HoliCity は、6,300枚の高解像度パノラマと正確な CAD モデルのアライメントを備えた都市規模の 3D データプラットフォームを提供し、平面、直線、消失点などの包括的な 3D 構造の学習を可能にします。表面セグメンテーションおよび法線推定において最先端の性能を達成し、HoliCity で学習したモデルは、屋内または合成データセットで学習したモデルと比較して、現実の屋外シーンへの一般化性能が顕著に優れています。

ABSTRACT

We present HoliCity, a city-scale 3D dataset with rich structural information. Currently, this dataset has 6,300 real-world panoramas of resolution $13312 imes 6656$ that are accurately aligned with the CAD model of downtown London with an area of more than 20 km$^2$, in which the median reprojection error of the alignment of an average image is less than half a degree. This dataset aims to be an all-in-one data platform for research of learning abstracted high-level holistic 3D structures that can be derived from city CAD models, e.g., corners, lines, wireframes, planes, and cuboids, with the ultimate goal of supporting real-world applications including city-scale reconstruction, localization, mapping, and augmented reality. The accurate alignment of the 3D CAD models and panoramas also benefits low-level 3D vision tasks such as surface normal estimation, as the surface normal extracted from previous LiDAR-based datasets is often noisy. We conduct experiments to demonstrate the applications of HoliCity, such as predicting surface segmentation, normal maps, depth maps, and vanishing points, as well as test the generalizability of methods trained on HoliCity and other related datasets. HoliCity is available at https://holicity.io.

研究の動機と目的

• 包括的な 3D 構造認識モデルを学習するための高品質で現実世界の屋外データセットが不足している問題に対処すること。
• 3D ビジョンタスクにおける屋内、合成、現実世界の屋外シーン間のドメインギャップを克服すること。
• 平面、ワイヤフレーム、コーナーブロックなど、高レベルの 3D 構造を学習するための統一的で正確かつスケーラブルなデータプラットフォームを提供すること。
• 都市環境における表面セグメンテーション、法線推定、深度推定のためのディープラーニングモデルの強固なトレーニングと評価を可能にすること。
• ノイズの多い LiDAR ベースのデータに依存するのを減らし、正確なパノラマ-CAD アライメントから導出されたクリアで構造化された教師データを提供すること。

提案手法

• 6,300枚の現実世界のパノラマ（解像度 13312×6656）と、20 km²以上をカバーするロンドン・ダウンタウンの高精細 CAD モデルを統合。
• パノラマは、中央の再投影誤差が 0.5 度未塔に保たれるように、CAD モデルに対して空間的に登録され、正確な幾何的アライメントが保証される。
• 教師データのアノテーションには、表面セグメント、深度マップ、法線マップ、消失点が含まれ、すべて CAD モデルから導出し、パノラマからレンダリング。
• 低レベルの表現（例：法線）と高レベルの抽象化（例：平面、コーナーブロック）を両方提供することで、マルチタスク学習を支援。
• 比較分析のため、HoliCity、ScanNet、SYNTHIA で、MaskRCNN、アソシエイティブエムベッディング、PlaneRecover、UNet などのベースラインモデルをトレーニングおよび評価。
• クロスデータセット一般化実験を実施し、現実世界、合成、屋内ベンチマーク間でのモデルのロバストネスを評価。

実験結果

リサーチクエスチョン

• RQ1 HoliCity で学習したモデルは、屋内または合成データセットで学習したモデルと比較して、現実の屋外シーンへの一般化性能が優れているか？
• RQ2 HoliCity の教師データとしての 3D 構造の品質は、ノイズの多い LiDAR スキャンから得られるものと比較して、下流の 3D ビジョンタスクを支援する点で優れているか？
• RQ3 既存の表面セグメンテーションおよび法線推定手法が、ドメインシフトのため、現実の屋外シーンに適用した際にどの程度失敗するのか？
• RQ4 HoliCity のような単一のデータセットが、複数の包括的 3D 構造学習タスクの統一されたベンチマークとして機能できるか？
• RQ5 データセットのドメイン多様性が、都市部の 3D ビジョンにおけるディープラーニングモデルの一般化能力に与える影響はいかほどか？

主な発見

• HoliCity で学習したモデルは、表面セグメンテーションの AP50 で 42.0 を達成し、HoliCity でテストした場合、ScanNet で学習したモデル（5.0）や SYNTHIA で学習したモデル（36.1）を顕著に上回った。
• HoliCity における法線推定の平均角度誤差は、HoliCity で学習したモデルで 22.6°、ScanNet で学習したモデルで 46.3° であった。
• HoliCity で学習したモデルは、SYNTHIA という合成屋外データセットに対しても良好に一般化し、AP50 で 36.1 を達成した。一方、SYNTHIA で学習したモデルは HoliCity ではわずか 1.90 AP50 に留まり失敗した。
• HoliCity で学習した MaskRCNN モデルは、表面セグメント定義の違いがあるにもかかわらず、SYNTHIA における建物表面の回復に成功しており、優れたドメイン一般化能力を示した。
• 屋内（ScanNet）または合成（SYNTHIA）データセットで学習した手法は、現実の屋外シーンへの一般化性能が著しく劣り、HoliCity での AP50 スコアが 5.0 を下回った。
• これらの結果は、HoliCity が、現実の都市環境の複雑さと多様性を捉えることができない既存のデータセットとは対照的に、強固な屋外 3D ビジョンモデルを学習するために不可欠であることを示している。