[논문 리뷰] Primitive Fitting Using Deep Boundary Aware Geometric Segmentation

Duanshun Li, Chen Feng|arXiv (Cornell University)|2018. 10. 03.

3D Surveying and Cultural Heritage참고 문헌 22인용 수 5

한 줄 요약

이 논문은 잡음이 많고 혼잡한 포인트 클라우드에서 3D 기하 원소 피팅을 향상시키기 위해 경계 인식 기하 분할을 사용하는 딥러닝 프레임워크인 BAGSFit을 제안한다. 먼저 완전 컨volution 신경망을 사용해 포인트 클라우드를 원소 가설로 분할한 후 기하 검증을 통해 보정함으로써, BAGSFit은 RANSAC 기반 방법보다 정확도와 강건성 면에서 뛰어나며, 공개된 벤치마크 데이터셋을 통해 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To identify and fit geometric primitives (e.g., planes, spheres, cylinders, cones) in a noisy point cloud is a challenging yet beneficial task for fields such as robotics and reverse engineering. As a multi-model multi-instance fitting problem, it has been tackled with different approaches including RANSAC, which however often fit inferior models in practice with noisy inputs of cluttered scenes. Inspired by the corresponding human recognition process, and benefiting from the recent advancements in image semantic segmentation using deep neural networks, we propose BAGSFit as a new framework addressing this problem. Firstly, through a fully convolutional neural network, the input point cloud is point-wisely segmented into multiple classes divided by jointly detected instance boundaries without any geometric fitting. Thus, segments can serve as primitive hypotheses with a probability estimation of associating primitive classes. Finally, all hypotheses are sent through a geometric verification to correct any misclassification by fitting primitives respectively. We performed training using simulated range images and tested it with both simulated and real-world point clouds. Quantitative and qualitative experiments demonstrated the superiority of BAGSFit.

연구 동기 및 목표

• 로봇 공학 및 역설계에서 흔히 볼 수 있는 잡음이 많고 혼잡한 3D 포인트 클라우드에서 다중 기하 원소(평면, 구, 실린더, 콘)를 강건하게 피팅하는 문제를 해결하기 위해.
• 복잡한 장면에서 잡음과 겹치는 인스턴스로 인해 일반적으로 열악한 피팅 성능을 보이는 RANSAC 기반 방법의 한계를 극복하기 위해.
• 기하적 구조의 정성적 특성을 먼저 활용함으로써 인간의 인식 방식을 모방하는 딥러닝 프레임워크를 개발하기 위해.
• 학습 및 벤치마킹을 위한 포인트 단위의 진정값 레이블을 포함한 대규모 시뮬레이션 데이터셋을 제작하고 공개하기 위해.
• 통합된 분할 및 경계 탐지가 잘못된 분류와 거짓 양성률을 줄여 피팅 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 시뮬레이션된 레인지 이미지에서 학습된 완전 컨volution 신경망을 사용하여, 합성 장면 생성에서 유도된 진정값 레이블을 기반으로 포인트 단위의 의미 분할을 평면, 구, 실린더, 콘, 배경 등 원소 클래스로 수행한다.
• 겹치거나 인접한 원소를 더 정확하게 분할하기 위해, 인스턴스 경계를 동시에 예측함으로써 경계 인식 지도를 통합한다.
• 분할 결과는 기하학적 가설로 사용되며, 각 포인트는 특정 원소 클래스에 속할 확률이 할당된다.
• 기하 검증 단계에서 각 가설 영역에 대해 효율적인 RANSAC을 적용하여 원소 매개변수를 보정함으로써 잘못 분류된 영역을 수정한다.
• 프레임워크는 노말 맵과 위치 데이터를 입력 특징으로 사용하며, 다양한 입력 조합과 손실 함수(다중 클래스 vs. 다중 이진)를 비교하는 분석 실험을 수행한다.
• 단일 네트워크가 분할과 경계 탐지 모두를 수행하며, 별도의 추론 단계 없이 효율성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 3D 레인지 이미지 의미 분할이 기존 RANSAC 대비 다중 모델, 다중 인스턴스 원소 피팅의 정확도와 강건성 향상에 기여하는가?
• RQ2 분할 네트워크에 경계 인식 지도를 통합함으로써, 혼잡한 장면에서 원소 인스턴스 간 분리가 향상되고 잘못된 분류가 감소하는가?
• RQ3 시뮬레이션 데이터에서 학습된 모델이 도메인 적응 없이도 실세계 포인트 클라우드로 일반화되는가?
• RQ4 위치, 노말, 또는 둘 다의 입력 특징과 손실 함수의 조합이 분할 및 이후 피팅 성능에 어떤 영향을 미치는가?
• RQ5 학습 중 배경 포인트를 제거하면 장면의 복잡성이 감소하여 최종 원소 피팅 정확도가 향상되는가?

주요 결과

• BAGSFit은 시뮬레이션 테스트 세트에서 평균 PAP(각 속성 정밀도) 점수 0.513을 기록하여 ERANSAC 기준선을 크게 앞서며 성능을 냈다.
• 배경 클래스를 학습에서 제외한 N5+BAGS 버전은 평균 피팅 오차 1.289 mm를 기록하여 배경 억제가 피팅 정확도 향상에 기여한다는 것을 시사했다.
• 경계 인식 지도를 통합한 BAGS는 기본 경계 탐지(BO) 대비 경계 재현율을 향상시켰으며, 분할 성능에 거의 영향을 주지 않았다.
• 노말 맵만을 입력으로 사용할 경우 위치와 노말을 함께 사용하는 것보다 성능이 뛰어났으며, 이는 위치 데이터를 딥 네트워크에 정규화하는 데 어려움이 있었기 때문일 것이다.
• 다중 클래스 손실 함수는 다중 이진 손실 함수보다 더 나은 분할 성능을 보였으며, 표준 크로스엔트로피를 통해 더 나은 클래스 간 분리가 가능하다는 것을 시사했다.
• MaskRCNN 기반 객체 검출은 원소 피팅 작업에서 단지 26.0%의 mAP를 기록하여, 형태의 변동성과 종횡비 왜곡으로 인해 표준 인스턴스 세그멘테이션 모델이 기하 원소에 부적합하다는 것을 보여주었다.