[논문 리뷰] Point Cloud Upsampling via Cascaded Refinement Network

Hang Du, Xuejun Yan외 3명|arXiv (Cornell University)|2022. 10. 08.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 삼중 동일 스테이지(두 개의 점진적 업샘플링 및 한 개의 정밀 조정)로 구성된 계단식 정밀화 네트워크를 제안하며, 입력에서 점의 오프셋을 회귀하여 학습을 단순화하고 복잡한 전략을 피한다. 이 방법은 합성 및 실측 데이터셋에서 최고 성능을 기록하며, 정밀도와 균일성을 향상시키고, 선택적 정밀 조정 스테이지 덕분에 유연한 추론 효율성을 제공한다.

ABSTRACT

Point cloud upsampling focuses on generating a dense, uniform and proximity-to-surface point set. Most previous approaches accomplish these objectives by carefully designing a single-stage network, which makes it still challenging to generate a high-fidelity point distribution. Instead, upsampling point cloud in a coarse-to-fine manner is a decent solution. However, existing coarse-to-fine upsampling methods require extra training strategies, which are complicated and time-consuming during the training. In this paper, we propose a simple yet effective cascaded refinement network, consisting of three generation stages that have the same network architecture but achieve different objectives. Specifically, the first two upsampling stages generate the dense but coarse points progressively, while the last refinement stage further adjust the coarse points to a better position. To mitigate the learning conflicts between multiple stages and decrease the difficulty of regressing new points, we encourage each stage to predict the point offsets with respect to the input shape. In this manner, the proposed cascaded refinement network can be easily optimized without extra learning strategies. Moreover, we design a transformer-based feature extraction module to learn the informative global and local shape context. In inference phase, we can dynamically adjust the model efficiency and effectiveness, depending on the available computational resources. Extensive experiments on both synthetic and real-scanned datasets demonstrate that the proposed approach outperforms the existing state-of-the-art methods.

연구 동기 및 목표

• 밀도, 균일성, 정밀도를 균형 있게 확보하지 못하는 단일 스테이지 점군 업샘플링 네트워크의 한계를 해결하기 위해.
• 워밍업 또는 점진적 학습 전략과 같은 복잡한 전략을 제거함으로써, 군중에서 정교한 업샘플링의 학습을 단순화하기 위해.
• 계산 자원에 따라 정밀 조정 스테이지를 선택적으로 사용할 수 있도록 하여 추론 효율성을 동적으로 조절할 수 있도록 하기 위해.
• 지역 및 전역 형태의 구조적 맥락을 포괄하는 트랜스포머 기반 모듈을 통해 특징 표현을 향상시키기 위해.

제안 방법

• 동일한 아키텍처를 가진 세 개의 계단식 스테이지로 구성된 프레임워크: 두 개의 업샘플링 스테이지가 점차 더 높은 밀도의 점군을 생성하고, 그 다음 정밀 조정 스테이지에서 위치를 조정한다.
• 각 스테이지가 입력 형태에 대한 점 좌표 오프셋을 예측함으로써 잔차 학습을 가능하게 하여 최적화의 난이도와 학습 갈등을 감소시킨다.
• 점 특징에 대해 자기주의 메커니즘을 사용하는 트랜스포머 기반 특징 추출 모듈이 지역 및 전역 형태 맥락을 집계한다.
• 이중 분지형 특징 확장 모듈이 초기 특징을 그대로 복제하는 대신 기하학적 변형을 학습함으로써 업샘플된 특징을 향상시킨다.
• 학습률 워밍업 또는 점진적 스테이지 활성화와 같은 추가 학습 전략 없이, 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 추론 시 스테이지 선택이 가능하며, 정밀 조정 스테이지를 생략함으로써 더 빠른 추론이 가능해지며, 속도와 품질 사이의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 워밍업 또는 점진적 활성화와 같은 복잡한 학습 전략 없이도 군중에서 정교한 업샘플링 프레임워크를 효과적으로 학습시킬 수 있는가?
• RQ2 점의 오프셋에 대한 잔차 학습이 다단계 점군 업샘플링에서 최적화를 어떻게 향상시키는가?
• RQ3 MLP나 GCN 기반 대안에 비해 트랜스포머 기반 특징 추출기가 형태 맥락 모델링을 얼마나 향상시키는가?
• RQ4 계산 자원 제약에 따라 추론 스테이지를 동적으로 조정할 수 있을 때 모델이 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 삼단계 계단식 정밀화 네트워크는 실측 데이터셋에서 Chamfer Distance (CD) 0.471×10⁻³을 기록하여 기존 SOTA 방법을 초월한다.
• 정밀 조정 스테이지가 점군 품질을 크게 향상시키며, 이로 인해 CD는 두 스테이지 기반 모델의 0.513×10⁻³에서 세 스테이지 기반 모델의 0.471×10⁻³으로 감소한다.
• 트랜스포머 기반 특징 추출기는 MLP 기반(0.628×10⁻³) 및 DenseGCN 기반(0.531×10⁻³) 대안보다 뛰어난 성능(0.471×10⁻³)을 기록한다.
• 잔차 학습은 워밍업 또는 점진적 전략 없이도 효과적인 학습을 가능하게 하며, CD 0.471×10⁻³을 기록하여 비잔차 기반 기준 모델(0.733×10⁻³)을 능가한다.
• 모델은 동적 추론을 지원한다: 정밀 조정 스테이지를 생략함으로써 추론 시간을 10.8ms에서 7.3ms로 단축시키며 강력한 성능을 유지한다.
• 정성적 결과는 볼 피봇 알고리즘을 사용한 표면 복원이 더 부드럽게 이루어짐을 보여주며, 균일성과 정밀도 향상을 확인한다.