[논문 리뷰] GRNet: Gridding Residual Network for Dense Point Cloud Completion

Haozhe Xie, Hongxun Yao외 4명|arXiv (Cornell University)|2020. 06. 06.

3D Shape Modeling and Analysis참고 문헌 53인용 수 30

한 줄 요약

GRNet은 differentiable Gridding, Gridding Reverse, 및 Cubic Feature Sampling을 도입하여 불규칙 포인트 클라우드를 3D 그리드로 변환해 보완에 사용하며 ShapeNet, Completion3D, KITTI에서 최첨단 결과를 달성한다.

ABSTRACT

Estimating the complete 3D point cloud from an incomplete one is a key problem in many vision and robotics applications. Mainstream methods (e.g., PCN and TopNet) use Multi-layer Perceptrons (MLPs) to directly process point clouds, which may cause the loss of details because the structural and context of point clouds are not fully considered. To solve this problem, we introduce 3D grids as intermediate representations to regularize unordered point clouds. We therefore propose a novel Gridding Residual Network (GRNet) for point cloud completion. In particular, we devise two novel differentiable layers, named Gridding and Gridding Reverse, to convert between point clouds and 3D grids without losing structural information. We also present the differentiable Cubic Feature Sampling layer to extract features of neighboring points, which preserves context information. In addition, we design a new loss function, namely Gridding Loss, to calculate the L1 distance between the 3D grids of the predicted and ground truth point clouds, which is helpful to recover details. Experimental results indicate that the proposed GRNet performs favorably against state-of-the-art methods on the ShapeNet, Completion3D, and KITTI benchmarks.

연구 동기 및 목표

• 불완전한 스캔으로부터 밀도 포인트 클라우드 보완을 동기화하고 MLP 기반 방법을 넘어 기하학적 구조를 보존한다.
• unordered 포인트 클라우드를 정규화하기 위해 3D 그리드를 중간 규칙 표현으로 사용한다.
• 그리딩, Gridding Reverse, Cubic Feature Sampling 레이어를 개발하여 그리드와 포인트를 연결한다.
• Gridding Loss를 도입해 예측 그리드와 실제 그리드 간의 L1 정렬을 강제한다.

제안 방법

• unordered 포인트 클라우드를 정규화하기 위해 3D 그리드를 중간 표현으로 도입한다.
• 점군을 8정점 보간이 포함된 정규 3D 그리드로 변환하는 Gridding을 개발한다.
• 그리드 값에 3D CNN을 적용해 주변 맥락 기반 특징을 학습한다.
• 그리딩 리버스를 사용해 그리드에서 coarse 포인트 클라우드를 재구성한다.
• Cubic Feature Sampling을 이용해 최종 MLP 기반 정제 이전에 이웃 그리드 특징을 거친 포인트에 부착한다.
• Gridding Loss로 예측 그리드와 ground-truth 그리드 간의 L1 차이를 계산하며 학습한다.

실험 결과

연구 질문

• RQ1 3D 그리드가 비정형 포인트 클라우드의 구조와 맥락을 보존하여 보완에 있어 보셀/MLP 접근법보다 더 나은가?
• RQ2 differentiable Gridding, Gridding Reverse, Cubic Feature Sampling이 이전 방법들보다 디테일 보존과 정확도를 향상시키는가?
• RQ3 Gridding Loss가 포인트 클라우드 보완에서 Chamfer Distance보다 더 나은 기하학적 현실감을 제공하는가?

주요 결과

• GRNet은 ShapeNet에서 Chamfer Distance 및 F-Score 지표에서 최첨단 방법보다 우수하다.
• Completion3D에서 GRNet은 최상의 Chamfer Distance를 달성하며 리더보드에서 1위를 차지한다.
• GRNet은 KITTI LiDAR 차 보완에서 경쟁자들에 비해 일관성과 균일성을 개선한다.
• 절차별 연구(ablation)에서 Gridding, Cubic Feature Sampling, Gridding Loss의 이점이 있으며 더 높은 그리드 해상도와 더 풍부한 피처 맵이 더 나은 결과를 낳는다.
• GRNet은 더 높은 그리드 해상도에서도 역방향 시간과 파라미터 수를 경쟁력 있게 유지한다.