[논문 리뷰] Patch-based Progressive 3D Point Set Upsampling

Yifan Wang, Shihao Wu외 3명|arXiv (Cornell University)|2018. 11. 27.

Advanced Vision and Imaging참고 문헌 47인용 수 38

한 줄 요약

이 논문은 다중 스케일, 패치 인식형 하위망을 엔드 투 엔드로 훈련시켜 점진적으로 국소 기하학적 구조를 정밀하게 개선함으로써 기하학적 세부 정보 복원 능력을 향상시키는 패치 기반 점진적 3D 포인트 세트 업샘플링 네트워크를 제안한다. 적응형 수신 영역과 밀집 연결, 양면 특징 보간과 같은 아키텍처 혁신을 통해 국소 기하학을 점진적으로 정밀하게 개선함으로써 희박하고 노이즈가 많은 입력에 대해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a detail-driven deep neural network for point set upsampling. A high-resolution point set is essential for point-based rendering and surface reconstruction. Inspired by the recent success of neural image super-resolution techniques, we progressively train a cascade of patch-based upsampling networks on different levels of detail end-to-end. We propose a series of architectural design contributions that lead to a substantial performance boost. The effect of each technical contribution is demonstrated in an ablation study. Qualitative and quantitative experiments show that our method significantly outperforms the state-of-the-art learning-based and optimazation-based approaches, both in terms of handling low-resolution inputs and revealing high-fidelity details.

연구 동기 및 목표

• 실세계 스캐닝에서 흔히 발생하는 희박하고 노이즈가 많은 3D 포인트 세트로부터 고해상도 기하학적 세부 정보를 복원하는 데 도전하는 것.
• 기존의 학습 기반 및 최적화 기반 방법이 대규모 및 세밀한 스케일의 구조를 모두 유지하는 데 한계를 가진다는 점을 극복하는 것.
• 적응형 패치 기반 하위망을 사용하여 지수적 파라미터 증가 없이 고비율 업샘플링 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 새로운 아키텍처 구성 요소를 통해 특징 추출, 확장 및 계층 간 특징 전파를 향상시키는 것.

제안 방법

• 각 단계가 특정 수준의 기하학적 세부 정보에 집중하는 패치 기반 하위망을 사용하는 다단계 점진적 업샘플링 파이프라인을 구현한다.
• 각 하위망은 수신 영역 크기가 감소함에 따라 수축하는 적응형 공간 범위를 갖는 국소 패치를 처리함으로써 국소 기하학에 집중된 학습을 가능하게 한다.
• 지점 간 특징 추출을 향상시키기 위해 밀집 연결을 도입하여 국소 이웃 영역 내 특징 표현을 강화한다.
• 표준 역전치 컨벌루션을 대체하기 위해 효율적인 특징 확장을 위해 코드 할당을 사용한다.
• 계층 간 특징 일관성과 세부 정보 전달을 향상시키기 위해 이중 특징 보간을 제안한다.
• 전체 네트워크는 점진적으로 훈련되며, 각 단계는 이전 단계의 출력을 기반으로 순차적으로 훈련된다.

실험 결과

연구 질문

• RQ1 희박한 입력에서 세밀한 기하학적 세부 정보를 복원하는 데 있어, 점진적 패치 기반 아키텍처가 단일 단계 학습 기반 방법보다 우월한가?
• RQ2 수신 영역 스케일에 기반한 적응형 패치 크기는 고정 크기 또는 전역 처리에 비해 세부 정보 복원 능력을 어떻게 향상시키는가?
• RQ3 밀집 연결과 코드 할당과 같은 아키텍처 혁신이 성능 향상과 파라미터 효율성에 얼마나 기여하는가?
• RQ4 실세계 3D 스캔에서 노이즈와 희박성에 대해 제안된 방법이 최신 기술 수준의 접근법에 비해 얼마나 강건한가?

주요 결과

• 제안된 방법은 PU-Net 및 EC-Net과 같은 최신 기술 수준의 학습 기반 방법보다 정량적 지표와 정성적 세부 정보 복원 능력에서 뚜렷한 우월성을 보이며, 특히 저해상도 및 노이즈가 많은 입력에서 두각을 나타낸다.
• 제거 분석 결과, 패치 기반 처리를 통한 점진적 훈련은 직접 16× 업샘플링 또는 반복적 단일 단계 훈련보다 더 높은 기하학적 정밀도를 달성함을 확인한다.
• 노이즈와 희박성에 대해 뛰어난 강건성을 보이며, 50%의 포인트 제거 또는 최대 2%의 가우시안 노이즈 조건에서도 고해상도 출력을 유지한다.
• 밀집 연결, 코드 할당, 이중 특징 보간의 통합은 성능 향상과 함께 파라미터 효율성 향상에 측정 가능한 기여를 한다.
• Intel RealSense SR300에서의 실세계 스캔 자료를 대상으로, WLOP를 사용한 전처리 후에 깔끔하고 고밀도이며 세밀한 포인트 세트를 성공적으로 복원한다.