[논문 리뷰] Deep Projective 3D Semantic Segmentation

Felix Järemo Lawin, Martin Danelljan외 4명|arXiv (Cornell University)|2017. 05. 09.

3D Shape Modeling and Analysis참고 문헌 23인용 수 17

한 줄 요약

이 논문은 3D 점군을 합성 2D 이미지로 투영하여 강력한 2D 컨볼루션 신경망(CNN)을 활용해 세분화를 수행하고, 점군으로 점수를 재투영하는 깊이 있는 투영 3D 세분화 프레임워크를 제안한다. 다중 모odal 입력(색상, 깊이, 법선)을 다중 스트림 네트워크에서 융합함으로써 Semantic3D 데이터셋에서 기존 방법 대비 7.9% 상대적 향상률을 기록하며 새로운 최고 성능을 달성한다.

ABSTRACT

Semantic segmentation of 3D point clouds is a challenging problem with numerous real-world applications. While deep learning has revolutionized the field of image semantic segmentation, its impact on point cloud data has been limited so far. Recent attempts, based on 3D deep learning approaches (3D-CNNs), have achieved below-expected results. Such methods require voxelizations of the underlying point cloud data, leading to decreased spatial resolution and increased memory consumption. Additionally, 3D-CNNs greatly suffer from the limited availability of annotated datasets. In this paper, we propose an alternative framework that avoids the limitations of 3D-CNNs. Instead of directly solving the problem in 3D, we first project the point cloud onto a set of synthetic 2D-images. These images are then used as input to a 2D-CNN, designed for semantic segmentation. Finally, the obtained prediction scores are re-projected to the point cloud to obtain the segmentation results. We further investigate the impact of multiple modalities, such as color, depth and surface normals, in a multi-stream network architecture. Experiments are performed on the recent Semantic3D dataset. Our approach sets a new state-of-the-art by achieving a relative gain of 7.9 %, compared to the previous best approach.

연구 동기 및 목표

• 3D-CNN의 점군화로 인한 높은 메모리 소비와 낮은 공간 해상도 문제를 해결하기 위해.
• 기존 2D 이미지 세분화 성공 사례를 활용하기 위해 3D 점군을 합성 2D 시야로 투영하여 2D-CNN에 입력하기 위해.
• 색상, 깊이, 표면 법선과 같은 다양한 입력 모달이 세분화 성능에 기여하는 방식을 조사하기 위해.
• 희소한 3D 애너테이션 데이터셋에 대한 의존도를 줄이기 위해 사전 학습된 2D 모델과 대규모 이미지 데이터셋을 활용하기 위해.
• 투영 기반 다중 스트림 딥 러닝 접근 방식을 통해 Semantic3D 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 간단한 히우리스틱을 사용해 3D 점군을 다수의 합성 2D 이미지 평면으로 투영한다.
• 각 투영된 이미지는 픽셀 단위의 세분화를 위해 2D 컨volution 신경망(CNN)에 의해 처리된다.
• 각 시야에서의 예측 점수는 3D 점군으로 재투영되어 각 점에 대한 신뢰도 점수를 누적한다.
• 색상, 깊이(jet 매핑된), 표면 법선 입력의 별도 스트림에서의 특징을 융합하기 위해 다중 스트림 네트워크 아키텍처를 사용한다.
• 다양한 시야의 점수는 투표 또는 평균화를 통해 각 3D 점에 대한 최종 세분화 레이블을 할당한다.
• 네트워크는 기본 학습률 0.0001로 교차 엔트로피 손실을 사용해 훈련되며, 매 10 에포크마다 학습률을 반으로 줄이고, 모멘타임은 0.99로 설정된다.

실험 결과

연구 질문

• RQ1 3D 점군을 2D 이미지로 투영하는 것이 기존 2D-CNN를 활용해 고성능 세분화를 가능하게 하는가?
• RQ2 다중 스트림 환경에서 색상, 깊이, 표면 법선과 같은 다양한 입력 모달이 세분화 정확도에 어떻게 기여하는가?
• RQ3 제안된 투영 기반 2D-CNN 접근 방식이 정확도와 효율성 측면에서 3D-CNN 기반 방법보다 뛰어나게 되는가?
• RQ4 이 방법은 색상 정보가 없는 점군에도 일반화 가능한가? 성능 저하는 어떻게 나타나는가?
• RQ5 사전 학습된 2D 모델을 통해 대규모 3D-애너테이션 데이터셋이 필요한 정도는 어느 정도 감소하는가?

주요 결과

• 제안된 방법은 Semantic3D 축소 테스트 세트에서 평균 교차율(mIoU) 58.5%를 기록하여 새로운 최고 성능을 달성했다.
• 다중 스트림 RGB+D+N 구성은 이전 최고 성능 방법(TLMC-MSR, mIoU 54.2%) 대비 7.9% 상대적 향상률을 기록했다.
• RGB 단일 스트림 및 법선 단일 스트림 모델은 각각 mIoU 51.5%와 51.1%를 기록했으며, 이는 3D-CNN 기반의 VoxNet을 크게 능가했다.
• D+N(깊이 및 법선) 구성은 색상 입력 없이도 54.3% mIoU를 기록하여 강력한 성능을 입증했다.
• 모든 세 가지 모달의 융합(RGB+D+N)은 가장 높은 성능을 기록했으며, 스트림 간의 상호보완적 정보가 있음을 시사했다.
• 정성적 결과는 건물 및 식생과 같은 복잡한 구조물의 정확한 세분화를 보여주었으며, 최소한의 아티팩트를 포함했다.