[논문 리뷰] PPC-MT: Parallel Point Cloud Completion with Mamba-Transformer Hybrid Architecture

Jie Li, Shengwei Tian외 2명|arXiv (Cornell University)|2026. 03. 01.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

PPC-MT는 PCA-가이드 병렬 포인트 클라우드 완성 프레임워크를 도입하여 Mamba 인코더와 Transformer 디코더를 결합해 PCN, ShapeNet-55/34, KITTI 데이터셋 전반에서 효율성을 유지하면서 최첨단 재구성 품질을 달성합니다.

ABSTRACT

Existing point cloud completion methods struggle to balance high-quality reconstruction with computational efficiency. To address this, we propose PPC-MT, a novel parallel framework for point cloud completion leveraging a hybrid Mamba-Transformer architecture. Our approach introduces an innovative parallel completion strategy guided by Principal Component Analysis (PCA), which imposes a geometrically meaningful structure on unordered point clouds, transforming them into ordered sets and decomposing them into multiple subsets. These subsets are reconstructed in parallel using a multi-head reconstructor. This structured parallel synthesis paradigm significantly enhances the uniformity of point distribution and detail fidelity, while preserving computational efficiency. By integrating Mamba's linear complexity for efficient feature extraction during encoding with the Transformer's capability to model fine-grained multi-sequence relationships during decoding, PPC-MT effectively balances efficiency and reconstruction accuracy. Extensive quantitative and qualitative experiments on benchmark datasets, including PCN, ShapeNet-55/34, and KITTI, demonstrate that PPC-MT outperforms state-of-the-art methods across multiple metrics, validating the efficacy of our proposed framework.

연구 동기 및 목표

• 포인트 클라우드 완성에서 재구성 품질과 계산 효율성의 균형 필요성을 제시한다.
• 병렬 재구성을 가능하게 하기 위한 대상 포인트 클라우드의 PCA-가이드 균일 분해를 제안한다.
• 효율적이면서도 정확한 완성을 위한 Mamba 기반 인코딩과 Transformer 디코딩을 결합한 하이브리드 아키텍처를 도입한다.
• 여러 병렬 출력에 학습을 분배하는 멀티-헤드 재구성기를 개발한다.
• 강력한 지표를 사용하여 감독/비감독 데이터셋에 걸친 포괄적 평가를 제공한다.

제안 방법

• 병렬 감독을 위해 실제 지상 트루 포인트 클라우드를 U개의 부분 포인트 클라우드로 정렬하고 균일하게 분해하기 위해 PCA를 적용한다.
• 가벼운 PointNet 기반 특징 추출기를 사용하여 G 로컬 그룹(FPS + KNN)으로부터 초기 포인트 프록시를 생성한다.
• 확장된 포인트 프록시를 얻기 위해 Mamba3D 기반 인코더로 글로벌 컨텍스트를 인코딩하여 선형 복잡도 특징 추출을 가능하게 한다.
• 자기-와 교차 어텐션을 통해 인코더 프록시와 시드 프록시 간 관계를 모델링하는 기하학 인식 Transformer 디코더로 시드를 해독한다.
• Prediction을 U세트로 나누는 멀티-헤드 재구성기를 통해 최종 완전한 점군을 재구성하고 각 세트가 부분 포인트 클라우드를 생성한 뒤 이를 결합한다.
• P0, Pi, Pout에 걸친 글로벌/로컬 충실도를 위한 CD_g(글로벌 분포) 및 CD_l/CD_g를 포함한 다계층 손실로 학습한다.

실험 결과

연구 질문

• RQ1 PCA-가이드 정렬 및 균일 분해가 기하학적 충실도를 희생하지 않으면서 효과적인 병렬화를 가능하게 할 수 있는가?
• RQ2 단순 어텐션 기반이나 순수 상태 공간 모델과 비교했을 때 Mamba와 Transformer의 통합이 3D 포인트 클라우드 완성의 효율성과 정확도를 더 좋게 만드는가?
• RQ3 제안된 병렬 멀티헤드 재구성이 데이터셋 전반에서 국부 세부 복구와 글로벌 모양 일관성에 어떤 영향을 미치는가?
• RQ4 감독(PCN, ShapeNet-55/34)과 비감독(KITTI) 벤치마크 모두에서 이점이 unseen 카테고리를 포함해 유지되는가?

주요 결과

• PCN에서 PPC-MT는 DCD 0.491, EMD 17.43, F-Score 0.860의 최첨단 성능을 달성하고 CD-ℓ1 6.60으로 AdaPoinTr를 포함한 여러 베이스라인을 능가합니다.
• AdaPoinTr와 비교하여 PPC-MT는 F-Score를 1.5% 올리고(0.860 vs 0.845), EMD를 27.7% 감소시키며(17.43 vs 24.12), DCD를 8.4% 낮춥니다(0.491 vs 0.536).
• ShapeNet-55에서 PPC-MT는 CD-ℓ1, CD-ℓ2, DCD, EMD, F1 지표 전반에서 강한 성능을 보이며, 여러 난이도 설정에서 F1의 주목할 만한 향상과 정밀도와 재현율 간의 견고한 균형을 보여준다.
• ShapeNet-34(보인 카테고리와 보이지 않는 카테고리)에서 PPC-MT는 보인/보이지 않는 카테고리에서 CD-ℓ1, DCD, EMD, F1의 최첨단 결과를 달성하며 강한 일반화를 보여준다.
• 데이터셋 전반(PCN, ShapeNet-55/34)에서 PPC-MT는 글로벌 분포와 로컬 상세 보존 측면에서 지속적으로 선행 연구를 능가하여 PCA-가이드 병렬 프레임워크와 Mamba-Transformer 하이브리드 아키텍처의 효과를 검증한다.