[논문 리뷰] PIE-NET: Parametric Inference of Point Cloud Edges

Xiaogang Wang, Yuelang Xu외 5명|arXiv (Cornell University)|2020. 07. 09.

3D Shape Modeling and Analysis참고 문헌 47인용 수 43

한 줄 요약

PIE-Net은 3D 포인트 클라우드에서 에지 및 코너점을 감지하고 에지를 나타내는 선, 원, B-스플라인 등 파라메트릭 곡선 집합을 추론하는 엔드-투-엔드 학습 파이프라인을 제시하며, 기존 방법 및 이전 학습 방법들을 능가합니다.

ABSTRACT

We introduce an end-to-end learnable technique to robustly identify feature edges in 3D point cloud data. We represent these edges as a collection of parametric curves (i.e.,lines, circles, and B-splines). Accordingly, our deep neural network, coined PIE-NET, is trained for parametric inference of edges. The network relies on a "region proposal" architecture, where a first module proposes an over-complete collection of edge and corner points, and a second module ranks each proposal to decide whether it should be considered. We train and evaluate our method on the ABC dataset, a large dataset of CAD models, and compare our results to those produced by traditional (non-learning) processing pipelines, as well as a recent deep learning based edge detector (EC-NET). Our results significantly improve over the state-of-the-art from both a quantitative and qualitative standpoint.

연구 동기 및 목표

• 노이즈와 희소 샘플링하에서 3D 포인트 클라우드에 대한 데이터 기반의 견고한 에지 검출 방법을 제시한다.
• 포인트 단위의 에지 라벨이 아니라 파라메트릭 에지 곡선(선, 원, B-스플라인)을 출력하도록 PIE-Net을 제안한다.
• 먼저 에지/코너 포인트를 감지하고, 그다음 곡선 제안을 생성 및 선택하는 영역 제안 프레임워크를 개발한다.
• 정확도와 일반화를 입증하기 위해 ABC CAD 모델 데이터세트로 학습 및 평가한다.
• 정량적 및 정성적 지표 모두에서 엔드-투-엔드 학습이 기존 파이프라인 및 EC-Net 대비 개선됨을 보인다.

제안 방법

• 두 단계 파이프라인: (i) 에지 및 코너 포인트를 식별하기 위한 포인트 분류와 에지/코너에 투영되도록 오프셋을 적용; (ii) 열린 및 닫힌 파라메트릭 곡선을 생성하기 위한 곡선 제안 및 선택.
• 원 및 B-스플라인의 매개화는 미분 가능하다; 원은 세 개의 비공선 점을 사용해 (n, c, r)을 도출하고 원 위의 점들을 샘플링한다; B-스플라인은 네 개의 제어점을 사용하고 중간 점들에 잔차를 회귀하여 균일하게 샘플링한다.
• 오픈 커브 제안: N개의 코너로부터 모든 코너 쌍을 생성하고, 쌍의 중점 주위 구역 내에서 검색하며, 에지 포인트의 부분 집합을 샘플링하고 다중 헤드 PointNet 유사 네트워크를 통해 곡선 유형과 매개변수를 공동으로 예측한다.
• 클로즈드 커브 제안: 특징 유사성으로 에지 포인트를 클러스터링하고 각 클러스터에 원을 맞추며 신뢰도로 원의 매개변수를 예측한다; 매개변수 회귀에는 Chamfer 거리 사용.
• 학습 손실: L_detection은 에지/코너 분류에 포컬 손실과 오프셋에 대한 스무스 L1를 결합; L_proposal은 마스크, 유형 분류 및 매개변수 회귀 손실을 Chamfer 기반 항으로 결합; L_closed는 유사성, 점수 및 매개변수 회귀에 대한 손실; 비최대 억제 및 IoU 기반 클러스터링으로 최종 곡선을 선택한다.
• 계산 측면: 포인트 클라우드당 분류 약 0.5초, 곡선 생성 약 3초의 근사 런타임; Titan X GPU에서 여러 구성 요소에 대해 학습 시간.

실험 결과

연구 질문

• RQ1 영역 제안 기반 학습 프레임워크가 포인트 클라우드에서 3D 에지 특징을 파라메트릭 곡선으로 정확하게 탐지하고 표현할 수 있는가?
• RQ2 노이즈 및 다양한 샘플링 밀도하에서 강건한 에지 재구성을 생성하기 위해 에지/코너 검출, 곡선 유형 분류, 매개변수 회귀 구성요소가 어떻게 상호 작용하는가?
• RQ3 파라메트릭 에지 표현(선, 원, B-스플라인)이 새로운 CAD 형상 및 비-CAD 객체 범주에 잘 일반화되는가?
• RQ4 전통적(VCM, EAR) 및 학습 기반(EC-Net) 기준선에 비해 에지 검출 정확도와 추정된 곡선의 기하학적 충실도 측면에서 PIE-Net의 성능은 어떠한가?
• RQ5 샘플링, 임계값, 구 구 heuristics이 열린/닫힌 곡선 제안의 품질과 효율성에 미치는 영향은 무엇인가?

주요 결과

• PIE-Net은 ABC 데이터세트에서 전통적 에지 검출기와 EC-Net보다 에지 Chamfer Distance와 IoU 지표 모두에서 크게 앞섭니다.
• 학습 CAD 모델 외의 새로운 객체 범주에도 일반화가 잘 되며, 표, 의자, 꽃병 등에서의 정성적 결과가 보여줍니다.
• 에지/코너 검출과 열린/닫힌 곡선 제안을 결합한 완전한 엔드-투-엔드 파이프라인은 기하학적 충실도와 노이즈 및 샘플링 밀도 변화에 대한 견고성을 향상시킵니다.
• 연구 구성요소 제거 실험은 구 반경, 코너/에지 임계값들 간의 안정성과 최종 곡선 정확도에서 잔차 오프셋 D_e, D_c 포함의 영향을 보여준다.
• VCM, EAR, EC-Net과 비교하여 PIE-Net은 다양한 평가 설정에서 ECD가 더 낮고 IoU, 정밀도, 재현율이 더 높다.
• 해당 방법은 런타임을 유지하면서도(분류 ~0.5s, 클라우드당 곡선 생성 ~3s) 기준선보다 더 높은 정확도를 제공합니다.