[논문 리뷰] SeedFormer: Patch Seeds based Point Cloud Completion with Upsample Transformer

Haoran Zhou, Yun Cao외 5명|arXiv (Cornell University)|2022. 07. 21.

3D Shape Modeling and Analysis인용 수 9

한 줄 요약

SeedFormer는 국소적이고 지역적인 특징 표현인 Patch Seeds와 주변점 집합을 통한 어텐션 기반 생성을 통해 세부 구조 복원을 향상시키는 새로운 포인트 클라우드 완성 프레임워크를 제안한다. 이 방법은 부분적인 입력으로부터 세밀한 기하학적 구조를 효과적으로 복원하여 벤치마크 데이터셋에서 최신 기술들을 능가한다.

ABSTRACT

Point cloud completion has become increasingly popular among generation tasks of 3D point clouds, as it is a challenging yet indispensable problem to recover the complete shape of a 3D object from its partial observation. In this paper, we propose a novel SeedFormer to improve the ability of detail preservation and recovery in point cloud completion. Unlike previous methods based on a global feature vector, we introduce a new shape representation, namely Patch Seeds, which not only captures general structures from partial inputs but also preserves regional information of local patterns. Then, by integrating seed features into the generation process, we can recover faithful details for complete point clouds in a coarse-to-fine manner. Moreover, we devise an Upsample Transformer by extending the transformer structure into basic operations of point generators, which effectively incorporates spatial and semantic relationships between neighboring points. Qualitative and quantitative evaluations demonstrate that our method outperforms state-of-the-art completion networks on several benchmark datasets. Our code is available at https://github.com/hrzhou2/seedformer.

연구 동기 및 목표

• 포인트 클라우드 완성에서 전역 특징 표현의 한계를 해결하여 인코딩 과정에서 세밀한 세부 정보가 손실되는 문제를 해결한다.
• 기존 포인트 생성기에서 개별 포인트를 독립적으로 처리함으로써 지역 기하학적 세부 정보 복원 능력이 떨어지는 문제를 해결한다.
• 전체 구조를 포괄하면서도 지역 정보를 유지하는 새로운 형태 표현을 개발하여 완성 품질을 향상시킨다.
• 이웃 포인트 간의 공간적 및 의미적 관계를 활용하여 생성 품질을 향상시키는 포인트 생성기 설계

제안 방법

• 지역 패치에서 유도된 Patch Seeds를 잠재 표현으로 도입: 입력의 국소 패치들이 학습된 시드 특징으로 인코딩되어 지역 기하학적 구조를 유지한다.
• Upsample Transformer 기반의 시드 생성기 도입을 통해 전역 특징 인코딩을 대체하여 완전한 포인트 클라우드를 생성한다.
• 이웃 지역의 자가 어텐션을 통해 포인트 생성을 수행하고 공간적 및 의미적 관계를 집계하는 Upsample Transformer 설계.
• 이중 위치 인코딩을 통합: 공간적 위치 인코딩과 시드 특징 기반 지역 인코딩을 함께 적용해 국소적 맥락 이해를 향상시킨다.
• 시드 생성기의 어텐션 메커니즘에서 소프트맥스를 제거한 수정된 자기 어텐션 기법 적용으로 어텐션 가중치의 제약을 완화하고 생성의 유연성을 향상시킨다.
• 粗-세분화 전략 적용: 먼저 시드로부터 완전한 형태를 생성한 후, 추가적인 Upsample Transformer 레이어를 통해 보정한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 완성 과정에서 국소적 지역 정보를 어떻게 유지하여 세부 구조 복원을 향상시킬 수 있는가?
• RQ2 전역 특징 인코딩을 패치 기반 시드 표현으로 대체할 경우 완성 품질에 어떤 영향을 미치는가?
• RQ3 이웃 포인트의 공간적 및 의미적 관계를 통합할 경우 3D 완성에서 포인트 생성 품질은 어떻게 향상되는가?
• RQ4 로컬 이웃에 주목하는 트랜스포머 기반 생성기가 기존의 포인트 기반 또는 폴딩 기반 생성기보다 우월한 성능을 내는가?
• RQ5 어텐션 메커니즘에서 소프트맥스를 제거하면 완전하고 세밀한 포인트 클라우드 생성에 어떤 영향을 미치는가?

주요 결과

• SeedFormer는 여러 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성하여 뛰어난 세부 구조 유지 능력과 구조 정확도를 입증한다.
• 제안된 Patch Seeds 표현은 대칭적이거나 불완전한 영역에서 특히 뛰어난 세밀한 기하학적 세부 정보 복원 능력을 보여준다.
• Upsample Transformer는 그래프 컨볼루션 및 일반 트랜스포머와 같은 유사 설계 대비 국소적 특징 집합에서 뛰어난 성능을 보이며, 더 나은 특징 집합 능력을 확보한다.
• 시드 생성기의 어텐션 메커니즘에서 소프트맥스를 제거한 결과 성능 향상(절단 실험에서 6.83 vs. 6.78)을 보이며, 어텐션 제약 완화가 생성 품질 향상에 기여함을 확인한다.
• Upsample Transformer에 공간적 위치 인코딩과 시드 기반 인코딩을 결합한 조합이 가장 우수한 성능을 보이며, 다중 수준 맥락 통합의 중요성을 확인한다.
• 시각화 결과는 Patch Seeds가 입력 패치에서부터 구조적 경로를 따라 이동하며, 시드 기반 그룹화와 대칭성 추론을 통해 누락된 부분을 정확히 예측함을 확인한다.