[論文レビュー] Sampling color and geometry point clouds from ShapeNet dataset

Davi Lazzarotto, Touradj Ebrahimi|arXiv (Cornell University)|Jan 18, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

この論文では、サンプリングの前に、色が矛盾する重複した内部面を除去することで、ShapeNetメッシュから高品質で色正確な点群を抽出するスクリプトを提案する。Meshlabのアンビエントオクルージョンと反復的フェース選択を用い、外向きを向いた面のみがサンプリングされるように保証した後、CloudCompareとOpen3Dを活用して、色を保持したまま量子化された点群を生成し、直接サンプリングよりも優れた視覚的忠実度を実現する。

ABSTRACT

The popularisation of acquisition devices capable of capturing volumetric information such as LiDAR scans and depth cameras has lead to an increased interest in point clouds as an imaging modality. Due to the high amount of data needed for their representation, efficient compression solutions are needed to enable practical applications. Among the many techniques that have been proposed in the last years, learning-based methods are receiving large attention due to their high performance and potential for improvement. Such algorithms depend on large and diverse training sets to achieve good compression performance. ShapeNet is a large-scale dataset composed of CAD models with texture and constitute and effective option for training such compression methods. This dataset is entirely composed of meshes, which must go through a sampling process in order to obtain point clouds with geometry and texture information. Although many existing software libraries are able to sample geometry from meshes through simple functions, obtaining an output point cloud with geometry and color of the external faces of the mesh models is not a straightforward process for the ShapeNet dataset. The main difficulty associated with this dataset is that its models are often defined with duplicated faces sharing the same vertices, but with different color values. This document describes a script for sampling the meshes from ShapeNet that circumvent this issue by excluding the internal faces of the mesh models prior to the sampling. The script can be accessed from the following link: https://github.com/mmspg/mesh-sampling.

研究の動機と目的

• 直接ShapeNetメッシュから点群をサンプリングする際に生じる、重複した色が矛盾する面による色の汚染アーチファクトを解消すること。
• 学習ベースの圧縮学習に使用可能な、高精細な点群生成をShapeNetのテクスチャ付きCADモデルから可能にすること。
• 幾何学的形状と色を保持しつつ、裏向きや重複した面による視覚的ノイズを除去する、耐障害性の高い前処理パイプラインの開発。
• 再現可能でオープンソースのソリューションを提供し、ShapeNetメッシュから一貫性のある色表現を持つクリーンで量子化された点群を生成すること。

提案手法

• Meshlabのアンビエントオクルージョンプラグインを活用し、複数の仮想視点に基づいた可視性スコアを割り当てることで、ShapeNetメッシュ内の内部面を検出し、削除する。
• 同じ頂点を共有する面を反復的に特定し、可視性スコアが最も高いもののみを保持することで、色が矛盾する重複した面を効果的に削除する。
• クリーニングされたメッシュをCloudCompareを用いてサンプリングし、幾何学的形状と色の属性を両方保持した点群を生成する。
• 得られた点群を立方体のバウンディングボックスにスケーリングし、Open3Dを用いて一様グリッドに量子化する。重複する点については色を平均化する。
• パイプライン全体で、外向きを向いた重複のない面のみが最終的な点群に寄与するよう保証され、視覚的アーチファクトが最小限に抑えられる。
• 全プロセスはGitHubに公開されたスクリプトにより自動化されており、研究分野での再現性と再利用が可能である。

実験結果

リサーチクエスチョン

• RQ1 ShapeNetメッシュ内の内部面および重複した面を自動で検出し、色の汚染を引き起こす点群のサンプリングを防ぐにはどうすればよいか？
• RQ2 色が異なる重複した面が直接サンプリングによって生成される点群の視覚的品質に及ぼす影響は何か？
• RQ3 メッシュのトポロジーを保持しつつ、矛盾する面を除去する前処理パイプラインは、学習ベースの圧縮に適した、より正確で視覚的に一貫性のある点群を生成できるか？
• RQ4 標準ライブラリを用いた直接サンプリングと比較して、提案手法が色忠実度をどの程度向上させるか？

主な発見

• 提案手法は、色が矛盾する内部面および重複した面を除去することで、ShapeNetメッシュから抽出された点群における視覚的ノイズや色アーチファクトを効果的に解消した。
• Meshlabのアンビエントオクルージョンプラグインの活用により、複雑なメッシュ構造においても外向きを向いた面を信頼性高く同定できる。
• 提案されたパイプラインを用いて生成された点群は、直接サンプリング手法と比較して、顕著に向上した視覚的一貫性と色正確性を示した。
• 最終出力は、重複する位置の色を平均化した量子化済み一様グリッド点群であり、深層学習ベースの圧縮モデルの学習に適している。
• 元のメッシュ構造を内部面や矛盾する色を持つ非可視面の除去を除き変更せず、高精細な色と幾何学的形状の再現が達成された。
• オープンソースのスクリプトにより、Point Cloud Compression研究分野におけるShapeNetデータセットの再現可能でスケーラブルな前処理が可能になった。