[논문 리뷰] Sampling color and geometry point clouds from ShapeNet dataset

Davi Lazzarotto, Touradj Ebrahimi|arXiv (Cornell University)|2022. 01. 18.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 색상 정확도가 높은 고품질의 포인트 클라우드를 ShapeNet 메시에서 추출하기 위해 색상이 충돌하는 내부 및 중복된 면을 제거한 후 샘플링하는 스크립트를 제안한다. Meshlab의 애매한 조명 및 반복적인 면 선택을 활용하여 외부를 향한 면들만 샘플링되도록 보장한 후, CloudCompare와 Open3D를 이용해 색상 유지를 유지하면서 정량화된 포인트 클라우드를 생성하여 직접 샘플링하는 것보다 시각적 정밀도를 향상시킨다.

ABSTRACT

The popularisation of acquisition devices capable of capturing volumetric information such as LiDAR scans and depth cameras has lead to an increased interest in point clouds as an imaging modality. Due to the high amount of data needed for their representation, efficient compression solutions are needed to enable practical applications. Among the many techniques that have been proposed in the last years, learning-based methods are receiving large attention due to their high performance and potential for improvement. Such algorithms depend on large and diverse training sets to achieve good compression performance. ShapeNet is a large-scale dataset composed of CAD models with texture and constitute and effective option for training such compression methods. This dataset is entirely composed of meshes, which must go through a sampling process in order to obtain point clouds with geometry and texture information. Although many existing software libraries are able to sample geometry from meshes through simple functions, obtaining an output point cloud with geometry and color of the external faces of the mesh models is not a straightforward process for the ShapeNet dataset. The main difficulty associated with this dataset is that its models are often defined with duplicated faces sharing the same vertices, but with different color values. This document describes a script for sampling the meshes from ShapeNet that circumvent this issue by excluding the internal faces of the mesh models prior to the sampling. The script can be accessed from the following link: https://github.com/mmspg/mesh-sampling.

연구 동기 및 목표

• ShapeNet 메시에서 직접 샘플링할 경우 발생하는 색상 오염 아티팩트 문제를 해결하기 위해.
• 학습 기반 압축 학습에 사용하기 위해 ShapeNet의 텍스처가 있는 CAD 모델에서 고해상도 포인트 클라우드 생성을 가능하게 하기 위해.
• 메시의 기하학적 구조와 색상을 유지하면서 배경을 향한 면이나 중복된 면으로 인한 시각적 노이즈를 제거하는 강력한 사전처리 파이프라인을 개발하기 위해.
• 재현 가능하고 오픈소스인 솔루션을 제공하여 ShapeNet 메시에서 일관된 색상 표현을 갖는 깔끔하고 정량화된 포인트 클라우드를 생성하기 위해.

제안 방법

• Meshlab의 애매한 조명 플러그인을 활용하여 다수의 가상 시점에서의 가시성 점수를 기반으로 내부 면을 탐지하고 제거한다.
• 동일한 정점들을 공유하는 면들을 반복적으로 식별하고, 가시성 점수가 가장 높은 면들만 유지함으로써 색상이 충돌하는 중복된 면을 효과적으로 제거한다.
• 정제된 메시를 CloudCompare를 사용하여 샘플링하여 기하학적 구조와 색상 속성을 유지한 포인트 클라우드를 생성한다.
• 결과로 생성된 포인트 클라우드는 입방체 경계 상자로 스케일링되고 Open3D를 사용하여 균일한 격자로 정량화되며, 겹치는 점들은 색상 평균을 취한다.
• 파이프라인은 최종 포인트 클라우드에 기여하는 데 외부를 향한 면이며 중복되지 않은 면들만 포함되도록 보장하여 시각적 아티팩트를 최소화한다.
• 전체 과정은 GitHub에 공개된 스크립트를 통해 자동화되어 재현 가능하며 연구 분야에서의 재사용이 가능하다.

실험 결과

연구 질문

• RQ1 ShapeNet 메시 내부 및 중복된 면을 자동으로 탐지하고 제거하여 샘플링된 포인트 클라우드에서 발생하는 색상 오염을 방지할 수 있는가?
• RQ2 색상이 다른 중복된 면이 직접 샘플링된 포인트 클라우드의 시각적 품질에 어떤 영향을 미치는가?
• RQ3 메시의 토폴로지를 유지하면서 충돌하는 면을 제거하는 사전처리 파이프라인은 학습 기반 압축에 적합한 더 정확하고 일관된 시각적 특성을 가진 포인트 클라우드를 생성할 수 있는가?
• RQ4 기본 라이브러리로 직접 샘플링하는 것과 비교해 제안된 방법이 색상 정확도를 얼마나 향상시키는가?

주요 결과

• 색상이 충돌하는 내부 및 중복된 면을 제거함으로써 제안된 방법은 ShapeNet 메시에서 추출된 포인트 클라우드의 시각적 노이즈와 색상 아티팩트를 성공적으로 제거한다.
• Meshlab의 애매한 조명 플러그인을 활용하면 복잡한 메시 구조에서도 외부를 향한 면을 신뢰성 있게 식별할 수 있다.
• 제안된 파이프라인을 사용해 생성된 포인트 클라우드는 직접 샘플링 방식에 비해 시각적 일관성과 색상 정확도가 뚜렷이 향상됨을 보였다.
• 최종 출력물은 겹치는 위치에서 색상 평균을 취한 정량화된 균일한 격자 포인트 클라우드이며, 딥러닝 기반 압축 모델 훈련에 적합하다.
• 원본 메시의 구조를 변경하지 않고도 비가시성 있는 충돌하는 면들만 제거함으로써 고해상도의 색상 및 기하학적 표현을 유지한다.
• 오픈소스 스크립트를 통해 ShapeNet 데이터셋의 포인트 클라우드 압축 연구를 위한 재현 가능하고 확장 가능한 사전처리가 가능해졌다.