[논문 리뷰] Classification of Point Cloud Scenes with Multiscale Voxel Deep Network

Xavier Roynard, Jean‐Emmanuel Deschaud외 1명|arXiv (Cornell University)|2018. 04. 10.

3D Surveying and Cultural Heritage참고 문헌 24인용 수 48

한 줄 요약

다중 스케일 3D CNN(MS DeepVoxScene)을 도입하여 다중 스케일의 보셀 격자를 사용해 장면 포인트 클라우드를 분류하고, Semantic3D에서 강력한 결과를 달성하며 교차 데이터셋에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

In this article we describe a new convolutional neural network (CNN) to classify 3D point clouds of urban or indoor scenes. Solutions are given to the problems encountered working on scene point clouds, and a network is described that allows for point classification using only the position of points in a multi-scale neighborhood. On the reduced-8 Semantic3D benchmark [Hackel et al., 2017], this network, ranked second, beats the state of the art of point classification methods (those not using a regularization step).

연구 동기 및 목표

• 자율 매핑 및 내비게이션을 위한 대규모 도시 및 실내 포인트 클라우드의 자동 의미 분류를 촉진한다.
• 매우 불균형한 장면 데이터에 대응하는 클래스 표현 균형 학습 전략을 개발한다.
• 맥락 및 로컬 기하 정보를 활용해 견고한 장면 라벨링을 위한 다중 스케일 3D CNN 아키텍처를 제안한다.

제안 방법

• 에폭마다 클래스 균형 샘플링이 무작위로 이루어진 완전히 주석이 달린 등록 포인트 클라우드에서 학습한다.
• 샘플링된 포인트 주위에 3D 점유 격자를 구성하고 이를 크기 32x32x32의 보셀화 입력으로 하는 3D CNN에 피드한다.
• 다양한 보셀 크기(예: 5 cm, 10 cm, 15 cm)에서 네트워크의 특징을 집계하고 최종 분류 전에 1024차원 특징 벡터를 연결(concatenate)하여 다중 스케일 변형(MS_K_DeepVoxScene)을 사용한다.
• 축 대칭 반전, 임의 편위 회전, 임의 스케일링, 차단, 아티팩트 및 가우시안 노이즈를 포함한 데이터 증강을 활용하고, ADAM으로 교차 엔트로피를 최적화한다.

실험 결과

연구 질문

• RQ1 다중 스케일 보셀 기반 CNN이 미세한 로컬 기하학과 더 넓은 장면 맥락을 포착하여 점군 장면 분류의 정확성을 높일 수 있는가?
• RQ2 학습 중 클래스 균형 샘플링 전략이 대표성이 낮은 장면 클래스의 성능을 향상시키는가?
• RQ3 MS_K_DeepVoxScene은 대규모 3D 장면 데이터셋에서 단일 스케일 보셀 네트워크 및 최첨단 포인트 기반 방법과 비교하여 어떤 차이를 보이는가?

주요 결과

• 제안된 MS3_DVS(5 cm, 10 cm, 15 cm 보셀을 사용하는 다중 스케일)가 단일 스케일 대비 여러 데이터셋에서 우수하다.
• 이 방법은 Reduced-8 Semantic3D 벤치마크에서 2위를 차지하며 많은 포인트 기반 비정규화 방법들을 능가한다.
• Paris-Lille-3D, Semantic3D, S3DIS에 걸쳐 다중 스케일 접근 방식은 단일 스케일 기반 대비 여러 카테고리(예: 건물 및 보행자)에 대해 평균 F1 점수 및 클래스별 재현율을 향상시킨다.
• VoxNet 스타일의 베이스라인(MS1_DVS)은 대부분의 데이터셋에서 다중 스케일 네트워크에 의해 능가되어 스케일 융합의 이점을 보여준다.