[논문 리뷰] Meta-PU: An Arbitrary-Scale Upsampling Network for Point Cloud

Shuquan Ye, Dongdong Chen외 3명|arXiv (Cornell University)|2021. 02. 08.

3D Shape Modeling and Analysis참고 문헌 29인용 수 9

한 줄 요약

Meta-PU는 메타학습 접근 방식을 사용하여 임의의 스케일 인자—정수 외의 스케일까지 포함—를 지원하는 첫 번째 포인트 클라우드 업샘플링 네트워크를 제안한다. 메타서브넷을 통해 가중치를 동적으로 조정하고 잔차 그래프 컨볼루션 블록 및 최대 거리 샘플링 레이어를 결합함으로써 Meta-PU는 단일 모델 추론을 통해 모든 스케일에서 성능을 뛰어넘으며, 희박하고 노이즈가 많은, 그리고 미리 보지 못한 데이터에 대해서도 강건성을 유지한다.

ABSTRACT

Point cloud upsampling is vital for the quality of the mesh in three-dimensional reconstruction. Recent research on point cloud upsampling has achieved great success due to the development of deep learning. However, the existing methods regard point cloud upsampling of different scale factors as independent tasks. Thus, the methods need to train a specific model for each scale factor, which is both inefficient and impractical for storage and computation in real applications. To address this limitation, in this work, we propose a novel method called ``Meta-PU" to firstly support point cloud upsampling of arbitrary scale factors with a single model. In the Meta-PU method, besides the backbone network consisting of residual graph convolution (RGC) blocks, a meta-subnetwork is learned to adjust the weights of the RGC blocks dynamically, and a farthest sampling block is adopted to sample different numbers of points. Together, these two blocks enable our Meta-PU to continuously upsample the point cloud with arbitrary scale factors by using only a single model. In addition, the experiments reveal that training on multiple scales simultaneously is beneficial to each other. Thus, Meta-PU even outperforms the existing methods trained for a specific scale factor only.

연구 동기 및 목표

• 기존 포인트 클라우드 업샘플링 방법에서 각 스케일 인자에 대해 별도의 모델을 훈련하는 데서 비효율성과 비현실성을 해결한다.
• 재학습 또는 미세조정 없이도 비정수 스케일을 포함한 임의의 스케일 인자를 처리할 수 있는 단일 모델을 가능하게 한다.
• 통합된 프레임워크에서 다수의 스케일 인자를 동시에 훈련시켜 모든 스케일에서 성능을 향상시킨다.
• 희박하고 노이즈가 많거나 비균일한 포인트 클라우드, 특히 실세계 LiDAR 데이터에 대해 강건성을 확보한다.
• 3D 복원 및 메시 생성, 분류와 같은 후속 응용 분야에 대해 민첩하고 효율적이며 일반화 능력이 뛰어난 솔루션을 제공한다.

제안 방법

• 원하는 스케일 인자에 따라 경량 메타서브넷이 동적으로 예측하는 가중치를 가진 메타-RGC 블록을 도입한다.
• 지역 기하학적 특징을 추출하고 포인트 간 관계를 포착하기 위해 잔차 그래프 컨볼루션(RGC) 블록을 활용한다.
• 스케일 인자에 따라 임의의 수의 출력 포인트를 생성하기 위해 최대 거리 샘플링 블록을 사용한다.
• 모든 스케일 인자를 동시에 훈련시켜 통합 최적화를 가능하게 하며, 네트워크 전체를 엔드 투 엔드로 훈련시킨다.
• 메타학습을 활용하여 백본 네트워크가 재학습 없이 추론 시기 동안 행동을 적응시킬 수 있도록 한다.
• 추론 시에 어떤 스케일 인자에 대해서도 실시간 업샘플링을 지원하는 미분 가능 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 단일 모델이 비정수 스케일까지 포함한 임의의 스케일 인자에서 포인트 클라우드 업샘플링에 일반화될 수 있는가?
• RQ2 다양한 스케일 인자에 대해 동시에 훈련하면 각 스케일에 대해 별도로 훈련된 모델보다 성능 향상이 이루어지는가?
• RQ3 제안된 메타학습 메커니즘이 추론 시기 동안 다양한 스케일 인자에 맞게 네트워크 가중치를 동적으로 적응시킬 수 있는가?
• RQ4 실제 스캔된 LiDAR 포인트 클라우드와 같은 새로운 데이터 분포에 대해 모델이 얼마나 잘 일반화되는가?
• RQ5 메시 생성 및 포인트 클라우드 분류와 같은 후속 작업에서 이 방법이 얼마나 향상되는가?

주요 결과

• Meta-PU는 모든 테스트 스케일 인자에서 최신 기술(SOTA) 성능을 달성하며, 개별 스케일에 특화해 훈련된 모델들조차도 능가한다.
• 미세조정 없이도 SHREC15 및 KITTI LiDAR 스캔과 같은 새로운 데이터셋에 잘 일반화된다.
• 기존의 단일 스케일 모델이 구현이 불가능한 비정수 스케일 인자(예: 1.25배, 1.75배, 2.25배)를 성공적으로 처리한다.
• 희박한 입력(최소 512개 포인트)과 최대 1%의 가우시안 제트 노이즈가 첨부된 노이즈가 많은 포인트 클라우드에 대해 높은 강건성을 유지한다.
• 포인트 클라우드 분류 작업에서 512개 포인트에서의 Meta-PU 업샘플링은 원본 2048개 포인트 입력 수준의 성능을 회복한다.
• 다양한 스케일의 동시 훈련은 개별 스케일에서 단일 스케일 기반 모델보다 더 나은 일반화 능력과 성능 향상을 이끈다.