[論文レビュー] SemanticPOSS: A Point Cloud Dataset with Large Quantity of Dynamic Instances

Yancheng Pan, Biao Gao+4 more|arXiv (Cornell University)|Feb 21, 2020

3D Shape Modeling and Analysis参考文献 24被引用数 15

ひとこと要約

本論文では、14クラスの点粒およびインスタンスレベルのアノテーションを備えた大規模なLiDAR点群データセットであるSemanticPOSSを紹介する。Peking Universityのキャンパスで収集されたこのデータセットは、歩行者や車両などの動的オブジェクトに重点を置き、2,988枚のスキャンを含む。既存のデータセット（例：SemanticKITTI）と比較して、動的オブジェクトの密度が高く、屋外シーンの多様性に富んでいるため、深層学習モデルの動的インスタンス分類精度が向上する。

ABSTRACT

3D semantic segmentation is one of the key tasks for autonomous driving system. Recently, deep learning models for 3D semantic segmentation task have been widely researched, but they usually require large amounts of training data. However, the present datasets for 3D semantic segmentation are lack of point-wise annotation, diversiform scenes and dynamic objects. In this paper, we propose the SemanticPOSS dataset, which contains 2988 various and complicated LiDAR scans with large quantity of dynamic instances. The data is collected in Peking University and uses the same data format as SemanticKITTI. In addition, we evaluate several typical 3D semantic segmentation models on our SemanticPOSS dataset. Experimental results show that SemanticPOSS can help to improve the prediction accuracy of dynamic objects as people, car in some degree. SemanticPOSS will be published at \url{www.poss.pku.edu.cn}.

研究の動機と目的

• 動的オブジェクトの点粒およびインスタンスレベルのアノテーションを備えた大規模かつ多様な3次元点群データセットの不足を解消すること。
• 既存の3次元セマンティックセグメンテーションデータセットにおけるシーン選択バイアスと動的オブジェクト表現の制限を軽減すること。
• 歩行者や車両などの動的オブジェクトにおける深層学習モデルの汎化能力と性能を向上させること。
• SemanticKITTIと互換性のある新しいベンチマークデータセットを提供し、モデルのトレーニングと評価をスムーズに行えるようにすること。

提案手法

• LiDARセンサーを用いてPeking Universityキャンパスでデータ収集を行い、複雑で現実的かつ動的オブジェクト密度の高い屋外シーンを捉えた。
• 各スキャンは14クラス（歩行者、自転車乗り、車両など）の点粒セマンティックラベルとインスタンスレベルの識別子でアノテートされている。
• データフォーマットとインターフェースはSemanticKITTIと互換性を持つように設計され、モデルトレーニングに必要なリプロセッシングを最小限に抑える。
• PointNet++やSqueezeSegV2といったベースラインモデルを、SemanticPOSSおよびSemanticKITTIの両方で評価し、性能を比較した。
• モデルのロバストネスとトレーニングデータの多様性の影響を評価するために、クロスデータセット一般化実験を実施した。
• データセットは2,988枚のスキャンに合計216Mポイントを含み、1フレームあたり平均8.29人の歩行者と15.02台の車両を有しており、SemanticKITTIに比べ顕著に高い。

実験結果

リサーチクエスチョン

• RQ1 豊富な動的インスタンスを有する大規模3次元点群データセットは、深層学習モデルの動的オブジェクト分類性能を向上させ得るか？
• RQ2 3次元データセットにおけるシーンの多様性は、3次元セマンティックセグメンテーションモデルの汎化能力にどのように影響するか？
• RQ3 高密度の動的オブジェクトを有するデータセットでトレーニングすることで、歩行者や車両などのクラスにおけるIoUはどの程度向上するか？
• RQ4 SemanticPOSSでトレーニングされたモデルの性能は、SemanticKITTIなどの他のデータセットへどのように一般化されるか？

主な発見

• SemanticPOSSでテストした際、PN-KITTIのIoUが0.007からPN-POSSの0.208に上昇し、動的オブジェクト検出性能が顕著に向上した。
• SemanticPOSSでトレーニングしたPointNet++のmIoU（0.201）は、SemanticKITTIでトレーニングした同じモデル（0.164）を上回り、動的インスタンスにおける汎化能力の向上を示した。
• クロスデータセット評価から、強いシーン選択バイアスが確認された。1つのデータセットでトレーニングしたモデルを他方でテストした際、mIoUが顕著に低下した。これは、多様なトレーニングデータの必要性を示唆した。
• SemanticPOSSでトレーニングしたモデルは、SemanticKITTIでテストした際も、動的オブジェクト（例：歩行者、車両）において優れた性能を示した。これは、動的オブジェクトの数が多いことでモデルのロバストネスが向上することを示唆している。
• SemanticPOSSは1フレームあたり平均8.29人の歩行者と15.02台の車両を有しており、SemanticKITTIの0.63と10.09に比べ顕著に高い。これは、動的コンテンツに重点を置いていることを裏付けている。
• SemanticKITTIとの互換性により、モデルの直接的な移行が可能となり、研究者がデータ前処理のオーバーヘッドを低減できる。