[論文レビュー] Generating synthetic photogrammetric data for training deep learning based 3D point cloud segmentation models

Meida Chen, Andrew Feng+4 more|arXiv (Cornell University)|Aug 21, 2020

Remote Sensing and LiDAR Applications参考文献 9被引用数 4

ひとこと要約

本稿では、3次元点群セグメンテーションのための深層学習モデルを訓練するための、完全自動化されたパイプラインを提案している。異なる景観やデータ品質を模擬することで、大規模で現実的かつ完全にアノテートされたデータセットを生成する。この方法により、時間のかかる実世界のデータ収集とアノテーションに依存する必要が著しく減少し、都市環境や混合植生のような複雑なシーンにおけるモデルの汎化性能が向上する。

ABSTRACT

At I/ITSEC 2019, the authors presented a fully-automated workflow to segment 3D photogrammetric point-clouds/meshes and extract object information, including individual tree locations and ground materials (Chen et al., 2019). The ultimate goal is to create realistic virtual environments and provide the necessary information for simulation. We tested the generalizability of the previously proposed framework using a database created under the U.S. Army's One World Terrain (OWT) project with a variety of landscapes (i.e., various buildings styles, types of vegetation, and urban density) and different data qualities (i.e., flight altitudes and overlap between images). Although the database is considerably larger than existing databases, it remains unknown whether deep-learning algorithms have truly achieved their full potential in terms of accuracy, as sizable data sets for training and validation are currently lacking. Obtaining large annotated 3D point-cloud databases is time-consuming and labor-intensive, not only from a data annotation perspective in which the data must be manually labeled by well-trained personnel, but also from a raw data collection and processing perspective. Furthermore, it is generally difficult for segmentation models to differentiate objects, such as buildings and tree masses, and these types of scenarios do not always exist in the collected data set. Thus, the objective of this study is to investigate using synthetic photogrammetric data to substitute real-world data in training deep-learning algorithms. We have investigated methods for generating synthetic UAV-based photogrammetric data to provide a sufficiently sized database for training a deep-learning algorithm with the ability to enlarge the data size for scenarios in which deep-learning models have difficulties.

研究の動機と目的

• 3次元セグメンテーションのための深層学習モデルを訓練するための、大規模かつ完全にアノテートされた3次元点群データセットの不足を解消すること。
• 実世界の3次元視覚測量データの手動アノテーションに伴う時間と人的コストを低減すること。
• 実データセットに不足しがちな、建物のスタイルや植生タイプ、都市の密度の違いといった多様なシナリオを生成することで、モデルの汎化性能を向上させること。
• 合成データが、3次元点群セグメンテーションのための深層学習モデルの訓練において、実データを効果的に代替できるかどうかを評価すること。
• 木や建物を含む複雑な環境におけるオブジェクトを対象とした、困難なセグメンテーションタスクのスケーラブルなデータ拡張を可能にすること。

提案手法

• 著者らは、高度、画像被覆率、カメラアングルといった制御可能なパラメータを用いて、ドローンベースの視覚測量を模擬する合成データ生成パイプラインを開発した。
• 都市部、森林、混合地形を含む多様な景観を模擬するために、現実的なテクスチャと幾何的変異を備えた3次元シーンモデルを用いた。
• 合成画像のコレクションを用いて視覚測量再構築をシミュレートし、構造から姿（SfM）およびマルチビューステレオ（MVS）技術を用いて点群を生成した。
• シーンメタデータと3次元幾何学を用いて、点群を自動的に意味的ラベル（例：建物、木、地面）でアノテートした。
• シーン構成、センサーパrameter、環境条件を変更することで、データセットの多様性を高めることが可能なスケーラブルなデータ生成を実現した。
• 得られた合成データセットを用いて、3次元意味的セグメンテーションのための深層学習モデルの事前学習およびファインチューニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 合成視覚測量データは、3次元点群セグメンテーションのための深層学習モデルの訓練において、実世界のデータを効果的に代替できるか？
• RQ2 合成データは、多様な景観やデータ品質の下で、モデルの汎化性能をどの程度向上できるか？
• RQ3 合成データで学習したモデルの性能は、実世界データセットで学習したモデルと比較して、セグメンテーション精度の面でどのように差異を示すか？
• RQ4 希少または複雑な都市および自然景観の構成に対して、合成データ生成がデータ不足問題を解決できるか？
• RQ5 実世界の3次元セグメンテーションベンチマークで高い性能を達成するためには、合成データのどの程度のリアリズムと多様性が必要か？

主な発見

• 合成データ生成パイプラインは、正確な意味的アノテーションを備えた大規模で現実的な3次元点群を効果的に生成し、深層学習モデルの訓練に有効に利用できた。
• 合成データで学習したモデルは、実世界のテストセットにおいて競争力のあるセグメンテーション精度を達成し、強力な汎化能力を示した。
• 本手法により、希少または代表されていない都市部や植生構成を含む多様な訓練シナリオが生成され、モデルのロバスト性が向上した。
• 合成データセットはスケーラブルかつカスタマイズ可能であり、飛行高度、画像被覆率、シーン複雑性の影響を制御した実験が可能であった。
• 本研究では、手動によるアノテーションや実世界データの収集の必要性が著しく減少し、データ準備の時間とコストが削減された。
• 本研究は、合成視覚測量データが、3次元点群セグメンテーションモデルの訓練において、実世界データの代替として実用的かつ効果的であることを確認した。