[논문 리뷰] Learning to Segment 3D Point Clouds in 2D Image Space

Yecheng Lyu, Xinming Huang외 1명|arXiv (Cornell University)|2020. 03. 12.

3D Shape Modeling and Analysis참고 문헌 72인용 수 4

한 줄 요약

이 논문은 3D 점군을 정점 간의 국소 기하 관계를 인코딩하는 그래프로 변환한 후, 정수 프로그래밍과 그래프 드로잉을 통한 위상 구조 보존 그래프-격자 매핑을 이용해 2D 이미지 공간으로 투영하는 새로운 방법을 제안한다. 이를 통해 기존의 2D CNN(예: U-Net)을 활용할 수 있게 되었으며, ShapeNet과 PartNet에서 최신 기준(SOTA) 성능을 달성했다.

ABSTRACT

In contrast to the literature where local patterns in 3D point clouds are captured by customized convolutional operators, in this paper we study the problem of how to effectively and efficiently project such point clouds into a 2D image space so that traditional 2D convolutional neural networks (CNNs) such as U-Net can be applied for segmentation. To this end, we are motivated by graph drawing and reformulate it as an integer programming problem to learn the topology-preserving graph-to-grid mapping for each individual point cloud. To accelerate the computation in practice, we further propose a novel hierarchical approximate algorithm. With the help of the Delaunay triangulation for graph construction from point clouds and a multi-scale U-Net for segmentation, we manage to demonstrate the state-of-the-art performance on ShapeNet and PartNet, respectively, with significant improvement over the literature. Code is available at https://github.com/Zhang-VISLab.

연구 동기 및 목표

• 기존의 2D CNN을 사용해 3D 점군의 의미적 분할을 수행할 수 있도록 효과적이고 효율적인 3D 점군에서 2D 이미지 공간으로의 투영 문제를 해결한다.
• 투영 과정에서 3D 점군의 위상적 구조를 보존하여 국소 기하 패턴의 손실을 방지한다.
• 계산 비용이 높은 그래프 드로잉 과정을 계층적 근사 알고리즘을 도입해 가속화한다.
• 적절히 투영된 3D 점군 이미지에 표준 2D CNN을 적용할 경우, 전용 3D 딥 러닝 모델을 능가할 수 있음을 입증한다.
• 통합된 파ip라인을 통해 ShapeNet과 PartNet과 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

제안 방법

• 3D 점군에서 Delaunay 삼각형 분할을 이용해 국소 기하 관계를 인코딩하는 그래프를 구축한다.
• 그래프 드로잉 문제를 정수 프로그래밍 문제로 재구성하여 3D 그래프에서 2D 격자로의 위상 보존 매핑을 학습한다.
• 정확한 방법 대비 약 97%의 계산 시간을 절감하기 위해 복잡도 O(n^(L+1)/L)인 새로운 계층적 근사 알고리즘을 제안한다.
• 학습된 매핑을 이용해 3D 점들을 2D 격자에 투영하여 (x,y,z)-이미지를 생성하며, 빈 셀은 0으로 처리한다.
• 2D CNN의 국소 수용장(Receptive Field)을 활용하기 위해 (x,y,z)-이미지에 다중 척도 U-Net을 적용해 의미적 분할을 수행한다.
• 에너지 기반 그래프 레이아웃 최적화를 위해 Kamada-Kawai 알고리즘을 기반으로 하되, 정수 프로그래밍을 통해 이산적인 2D 격자에 적응시킨다.

실험 결과

연구 질문

• RQ1 적절한 2D 이미지 표현이 제공된다면, 기존의 2D CNN이 3D 점군 분할에서 최신 기준 성능을 달성할 수 있는가?
• RQ2 3D 점군의 구조는 2D 이미지 공간으로의 투영 과정에서 어떻게 보존되어 국소 기하 패턴을 유지할 수 있는가?
• RQ3 대규모 3D 점군에 대해 위상 보존 그래프-격자 매핑을 계산하는 데 효율적이고 확장 가능한 방법은 무엇인가?
• RQ4 계층적 근사는 정확도를 희생시키지 않으면서 그래프 드로잉의 계산 비용을 상당히 감소시킬 수 있는가?
• RQ5 기존의 3D 전용 딥 러닝 모델과 비교해 본다면, 제안된 방법은 표준 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 ShapeNet에서 최신 기준 성능을 달성하여, 모든 이전 방법보다 뛰어난 평균 교차율(mIoU) 63.0%를 기록했다.
• PartNet에서는 세 가지 다른 분할 수준에서 각각 6.8%, 9.1%, 5.9% 향상되었으며, 평균 3.2% 향상되었고, 이는 최신 기준을 초월하는 성과이다.
• ShapeNet에서 클래스별 mIoU는 88.6%, 인스턴스별 mIoU는 65.2%를 기록하여 이전 최신 기준 결과보다 뚜렷이 뛰어났다.
• 계층적 근사 기법은 정확한 정수 프로그래밍 해법 대비 실행 시간을 약 97% 감소시켰다.
• PartNet의 모든 수준에서 50개 카테고리 중 31개에서 최고 성능을 기록하여 강력한 강인성과 일반화 능력을 입증했다.
• 다중 척도 U-Net 아키텍처는 투영된 (x,y,z)-이미지에서 국소적 맥락을 효과적으로 포착하여 높은 분할 정확도에 기여했다.