[논문 리뷰] ProxyFormer: Proxy Alignment Assisted Point Cloud Completion with Missing Part Sensitive Transformer

Shanshan Li, Pan Gao외 2명|arXiv (Cornell University)|2023. 02. 28.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

ProxyFormer는 누락된 기하학적 구조의 복원을 향상시키기 위해 프록시 기반 특징 및 위치 인코딩과 결함 감지 트랜스포머를 사용하는 새로운 포인트 클라우드 완성 방법을 제안한다. 기존의 불완전한 입력을 그대로 유지하고 진짜 누락된 부분과의 프록시 정렬을 통해 예측를 정밀하게 보정함으로써, 이전 방법들보다 더 빠른 추론 속도와 더 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Problems such as equipment defects or limited viewpoints will lead the captured point clouds to be incomplete. Therefore, recovering the complete point clouds from the partial ones plays an vital role in many practical tasks, and one of the keys lies in the prediction of the missing part. In this paper, we propose a novel point cloud completion approach namely ProxyFormer that divides point clouds into existing (input) and missing (to be predicted) parts and each part communicates information through its proxies. Specifically, we fuse information into point proxy via feature and position extractor, and generate features for missing point proxies from the features of existing point proxies. Then, in order to better perceive the position of missing points, we design a missing part sensitive transformer, which converts random normal distribution into reasonable position information, and uses proxy alignment to refine the missing proxies. It makes the predicted point proxies more sensitive to the features and positions of the missing part, and thus make these proxies more suitable for subsequent coarse-to-fine processes. Experimental results show that our method outperforms state-of-the-art completion networks on several benchmark datasets and has the fastest inference speed. Code is available at https://github.com/I2-Multimedia-Lab/ProxyFormer.

연구 동기 및 목표

• 기존의 포인트 클라우드 완성 방법들이 재구성 과정에서 세밀한 세부 구조를 손실하거나 원래 기하학적 구조를 왜곡하는 데서 비롯되는 한계를 해결하기 위해.
• 특히 복잡하거나 가림이 있는 영역에서 누락된 부분의 특징 표현 및 위치 인코딩을 향상시키기 위해.
• 훈련 중에 진짜 누락된 부분을 프록시 정렬을 통해 사전 지식으로 활용함으로써 모델의 일반화 능력을 향상시키기 위해.
• 트랜스포머 기반 기준 모델 대비 성능을 유지하거나 향상시키면서도 모델 복잡도와 추론 비용을 줄이기 위해.
• 기존 부분과 누락된 부분 간의 관계를 프록시 상호작용을 통해 명시적으로 모델링함으로써 더 정확하고 세밀한 완성 가능성을 높이기 위해.

제안 방법

• 모든 점이 국소 기하학적 정보와 특징 정보를 집계하는 특징 및 위치 추출기를 통해 프록시로 인코딩되는 프록시 기반 표현을 도입한다.
• 기존 프록시 특징을 기반으로 무작위 노이즈를 구조적인 공간 레이아웃으로 변환함으로써, 누락된 프록시에 대한 위치 인식 특징을 생성하는 결함 감지 트랜스포머를 설계한다.
• 훈련 중에 프록시 정렬을 사용한다: 진짜 누락된 부분이 프록시로 변환되어 예측된 누락된 프록시를 정밀하게 보정함으로써 특징 일관성과 재구성 정확도를 향상시킨다.
• 디코더 헤드를 제거함으로써 프록시를 직접 점군 공간으로 매핑함으로써 엔드 투 엔드 훈련을 가능하게 하며, 원본 입력 점들을 100% 유지한다.
• 위치 인코딩은 3D 좌표와 이웃 특징 정보를 모두 조합하여 고정된 위치 인코딩에 의존하지 않으면서도 공간 인식 능력을 향상시킨다.
• 프레임워크는 재구성 손실과 프록시 정렬 손실을 모두 사용하여 훈련함으로써 일반화 능력과 세부 구조 복원 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 프록시 기반 표현은 포인트 클라우드 완성에서 누락된 부분의 특징 및 위치 인코딩을 향상시키는 데 효과적인가?
• RQ2 결함 감지 트랜스포머는 불완전 영역에서 기하학적 세부 구조를 모델링하는 데 어떻게 기여하는가?
• RQ3 진짜 누락된 부분과의 프록시 정렬을 통해 훈련 중 사전 지식과 예측 정확도를 향상시킬 수 있는가?
• RQ4 트랜스포머 기반 모델에서 디코더 헤드를 제거하면 파라미터 수와 추론 시간을 줄일 수 있을까, 동시에 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 다양한 3D 형태에서 재구성 정확도와 효율성 측면에서 제안된 방법은 최신 기술 수준의 방법들과 어떻게 비교되는가?

주요 결과

• ProxyFormer은 ShapeNet-34 및 ShapeNet-13 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 DCD 및 카멘 거리 지표에서 GRNet, PoinTr, SeedFormer을 모두 앞서 간다.
• ShapeNet-34 데이터셋에서 ProxyFormer은 평균 DCD가 0.538을 기록하여 GRNet(0.583), PoinTr(0.558), SeedFormer(0.541)보다 유의미하게 낮게 나타났다.
• SOTA 방법들 중에서 가장 빠른 추론 속도를 기록했으며, GFLOPs 수치가 가장 낮아 높은 효율성을 보였다.
• ShapeNet-13 데이터셋에서 ProxyFormer은 평균 카멘 거리를 2.54로 줄여, GRNet(4.95), PoinTr(3.45), SeedFormer(3.45)를 모두 능가했다.
• 시각적 결과에서는 곡선 가장자리나 미세한 구조(예: 램프 램프 가장자리)를 정확히 재구성하는 데서 뛰어난 세부 구조 복원 능력을 보였으며, PoinTr와 GRNet에서 관찰된 왜곡 현상은 최소화되었다.
• 절단 분석 결과, 프록시 정렬과 결함 감지 트랜스포머가 하드 및 중간 범주에서 성능 향상에 크게 기여하고 있음을 확인했다.