[논문 리뷰] Detail Preserved Point Cloud Completion via Separated Feature Aggregation

Wenxiao Zhang, Qingan Yan외 1명|arXiv (Cornell University)|2020. 07. 05.

3D Shape Modeling and Analysis참고 문헌 1인용 수 8

한 줄 요약

이 논문은 알려진 부분과 누락된 부분에 대해 다중 수준 특징을 별도로 집계하는 두 가지 전략인 글로벌 및 로컬 특징 집계(GFLA)와 잔차 특징 집계(RFA)를 사용하여 미세한 기하학적 세부 정보를 유지하는 새로운 포인트 클라우드 복원 프레임워크를 제안한다. 이 방법은 세부 정보 유지 및 형상 복원에서 최신 기술을 능가하며, 특히 새로운 카테고리에서 뛰어난 성능을 보이며, 전용 보정 모듈을 통해 외곽선을 줄이고 균일성을 향상시킨다.

ABSTRACT

Point cloud shape completion is a challenging problem in 3D vision and robotics. Existing learning-based frameworks leverage encoder-decoder architectures to recover the complete shape from a highly encoded global feature vector. Though the global feature can approximately represent the overall shape of 3D objects, it would lead to the loss of shape details during the completion process. In this work, instead of using a global feature to recover the whole complete surface, we explore the functionality of multi-level features and aggregate different features to represent the known part and the missing part separately. We propose two different feature aggregation strategies, named global \& local feature aggregation(GLFA) and residual feature aggregation(RFA), to express the two kinds of features and reconstruct coordinates from their combination. In addition, we also design a refinement component to prevent the generated point cloud from non-uniform distribution and outliers. Extensive experiments have been conducted on the ShapeNet dataset. Qualitative and quantitative evaluations demonstrate that our proposed network outperforms current state-of-the art methods especially on detail preservation.

연구 동기 및 목표

• 기존의 학습 기반 포인트 클라우드 복원 방법이 단일 글로벌 특징 벡터에 의존함으로써 기하학적 세부 정보를 상실하는 한계를 해결하기 위해.
• 다중 수준 특징을 사용하여 알려진 부분과 누락된 부분을 별도로 모델링하여 형상 복원 성능을 향상시키기 위해.
• 특히 알려지지 않은 물체 카테고리에 대해 세부 정보 유지 및 형상 예측 정확도를 향상시키기 위해.
• 보정 구성 요소를 통해 생성된 포인트 클라우드의 노이즈와 비균일성을 줄이기 위해.

제안 방법

• 네트워크는 입력된 부분 포인트 클라우드에서 다중 수준 특징을 추출하기 위해 계층적 특징 학습 아키텍처를 사용한다.
• 두 가지 특징 집계 전략이 제안된다: GLFA는 알려진 부분에 대한 국소 특징과 누락된 부분에 대한 글로벌 특징을 결합하며, RFA는 누락된 부분을 전체 형상에서의 잔차 차이로 모델링한다.
• 알려진 부분과 누락된 부분의 특징은 학습 가능한 조합 비율을 사용해 융합되어 완전한 3차원 형상을 복원한다.
• 보정 구성 요소가 도입되었으며, 이는 균일한 샘플링을 위한 FPS, 잘못된 점을 억제하는 어텐션 모듈, 고해상도이고 매끄러운 표면을 생성하는 로컬 폴딩 유닛으로 구성된다.
• 네트워크는 Chamfer 거리와 F-스코어를 최적화 지표로 사용하여 ShapeNet 데이터셋에서 엔드 투 엔드로 훈련된다.
• 메서드는 알려진 카테고리와 새로운 카테고리 모두에서 평가되었으며, 특징 수준 수와 조합 비율에 대한 분석 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 알려진 부분과 누락된 부분에 대해 특징 표현을 분리하면 포인트 클라우드 복원에서 세부 정보 유지에 도움이 될 수 있는가?
• RQ2 다른 특징 집계 전략인 GLFA와 RFA는 알려진 카테고리와 새로운 카테고리에서 성능에 어떤 영향을 미치는가?
• RQ3 전용 보정 구성 요소는 생성된 포인트 클라우드의 비균일성과 외곽선을 어느 정도 줄이는가?
• RQ4 이 방법은 특징 수준 수와 알려진 부분 특징 대 누락된 부분 특징 비율에 대해 얼마나 민감한가?

주요 결과

• 제안된 NSFA-RFA 전략은 전체 성능이 가장 우수하며, 알려진 카테고리에서 8.06의 Chamfer 거리, 새로운 카테고리에서 10.08의 Chamfer 거리를 기록한다.
• NSFA-GLFA는 새로운 카테고리에서 뛰어난 성능을 보이며, 알려진 카테고리에서 8.14, 새로운 카테고리에서 9.98의 Chamfer 거리를 기록한다.
• 보정 구성 요소는 보정 없이 결과를 비교할 때 알려진 카테고리에서 Chamfer 거리를 0.59 감소시키고, 새로운 카테고리에서는 0.11 감소시킨다.
• 알려진 부분 특징과 누락된 부분 특징 간 최적의 조합 비율은 1:1에 가까운 것으로 확인되었으며, 1:3 또는 0:4 비율은 성능을 크게 떨어뜨린다.
• 특징 수준 수를 늘릴수록 성능은 수준 5~6까지 향상되나, 더 이상 늘어나면 GLFA의 경우 특징 경계가 흐려져 성능이 떨어진다.
• 네트워크는 물체의 대칭적 특성을 학습하여 대칭 부분의 누락된 부분을 정확히 복원할 수 있으며, 정성적 결과에서 이를 확인할 수 있다.