[論文レビュー] SynthCity: A large scale synthetic point cloud

David Griffiths, J. Boehm|arXiv (Cornell University)|Jul 10, 2019

Remote Sensing and LiDAR Applications参考文献 14被引用数 48

ひとこと要約

SynthCity は Blender の Blensor を用いて事前訓練用の 3D セマンティック分割モデル向けに、9 クラスにまたがる 367.9M のラベル付き点を含む、オープンで大規模な合成 MLS 点群を公開する。

ABSTRACT

With deep learning becoming a more prominent approach for automatic classification of three-dimensional point cloud data, a key bottleneck is the amount of high quality training data, especially when compared to that available for two-dimensional images. One potential solution is the use of synthetic data for pre-training networks, however the ability for models to generalise from synthetic data to real world data has been poorly studied for point clouds. Despite this, a huge wealth of 3D virtual environments exist which, if proved effective can be exploited. We therefore argue that research in this domain would be of significant use. In this paper we present SynthCity an open dataset to help aid research. SynthCity is a 367.9M point synthetic full colour Mobile Laser Scanning point cloud. Every point is assigned a label from one of nine categories. We generate our point cloud in a typical Urban/Suburban environment using the Blensor plugin for Blender.

研究の動機と目的

• 3D セマンティック分割および分類ネットワークの事前訓練のための大規模合成点群の実現可能性を示す。
• 合成データから実世界の3Dデータへのドメイン移行に関する研究を促進する公開データセットを提供する。
• 合成 MLS に類似した点群の生成パイプライン、データ表現、およびラベリング方式を探求する。
• クラス不均衡やリアリズムなどの課題を論じ、それらを緩和するための合成データにおける戦略を提案する。

提案手法

• Blender と Blensor センサプラグインを使って、都市・郊外のシーンで大規模かつグローバルに登録された MLS スタイルの点群を生成する。
• 130 棟の建物、196 台の車、21 の自然地表平面、12 の地面平面、272 のポール様オブジェクト、172 の道路オブジェクト、1095 の街路設備オブジェクト、そして 217 本の樹木を含むシーンをモデリングする。
• 事前に定義された軌道に沿って 75,000 のキーフレームをレンダリングし、変動を高めるためにランダムな摂動を適用する。
• スキャナー位置と姿勢に基づく計算変換 T を用いて、スキャンごとの点をグローバル座標系へ変換する。これには回転行列 R_x, R_y, R_z および平行移動 S_x,S_y,S_z を含む。
• 各点の特徴として x,y,z, x_n,y_n,z_n, time, eol, およびラベル l を付与し、l は 0..8 の範囲; データを Apache Parquet 形式で格納してメモリ不足処理を回避する。

実験結果

リサーチクエスチョン

• RQ1 合成の大規模3D点群は現実世界のセマンティックセグメンテーション課題のネットワークを効果的に事前訓練できるか？
• RQ2 MLS風点群の事前訓練に使用した場合、合成データはドメイン横断でどのように一般化するか？
• RQ3 合成3Dデータにおける個々の点分類に有効なラベリング方式と特徴セットは何か？
• RQ4 このような大規模な合成データセットに対する実用的なデータ保存と処理の考慮事項は何か？

主な発見

• データセットには 367.9M 点が 9 カテゴリへラベル付けされて含まれている。
• 最終的な特徴セットには x, y, z, x_n, y_n, z_n, R, G, B, time, eol, および label が含まれる。
• Parquet 形式の総データセットサイズは 27.5GB、メモリ管理とテスト/トレーニングの分離のために 9つのサブエリアに分割。
• クラス分布は小さいクラスを偏らせることを意図しているにもかかわらず不均衡を露呈しており、道路/歩道のような大きく連続したクラスが支配的である。
• Blensor ベースの MLS シミュレーションは、セマンティックセグメンテーション研究に適した、点ごとにラベルが付与されたグローバルに登録された3D点を生成できる。
• 同じパイプラインを用いて再レンダリングすることで、Velodyne などの他のスキャナモデルへデータセットを拡張できる。