[논문 리뷰] Skeleton-bridged Point Completion: From Global Inference to Local Adjustment

Yinyu Nie, Yiqun Lin외 5명|arXiv (Cornell University)|2020. 10. 14.

3D Shape Modeling and Analysis참고 문헌 14인용 수 33

한 줄 요약

이 논문은 글로벌 구조로 meso-skeleton을 사용하는 골격-브리지 포인트 완성 네트워크 SK-PCN을 제안하며, 변위 기반 표면 성장을 통해 로컬 정제를 입력-병합(input-merging)과 패치 기반 판별기를 통해 이전의 인코더-디코더 방식보다 점 및 메쉬 완성을 향상시킨다.

ABSTRACT

Point completion refers to complete the missing geometries of objects from partial point clouds. Existing works usually estimate the missing shape by decoding a latent feature encoded from the input points. However, real-world objects are usually with diverse topologies and surface details, which a latent feature may fail to represent to recover a clean and complete surface. To this end, we propose a skeleton-bridged point completion network (SK-PCN) for shape completion. Given a partial scan, our method first predicts its 3D skeleton to obtain the global structure, and completes the surface by learning displacements from skeletal points. We decouple the shape completion into structure estimation and surface reconstruction, which eases the learning difficulty and benefits our method to obtain on-surface details. Besides, considering the missing features during encoding input points, SK-PCN adopts a local adjustment strategy that merges the input point cloud to our predictions for surface refinement. Comparing with previous methods, our skeleton-bridged manner better supports point normal estimation to obtain the full surface mesh beyond point clouds. The qualitative and quantitative experiments on both point cloud and mesh completion show that our approach outperforms the existing methods on various object categories.

연구 동기 및 목표

• 부분 포인트 클라우드에서의 강건한 3D 형태 보정을 명시적으로 글로벌 구조를 모델링하는 meso-skeleton을 통해 촉진한다.
• skeleton(글로벌) 및 surface(로컬) 학습으로 완성을 분리하여 토폴로지와 디테일을 더 잘 보존한다.
• 입력 스캔의 로컬 정보를 비지역적(attention) 주의 메커니즘을 통해 활용하여 skeleton-to-surface 성장을 안내한다.
• 관측 가능한 입력 데이터를 병합하고 패치 기반 판별기를 사용하여 관측 영역 근처의 충실도를 보장하며 예측을 정제한다.

제안 방법

• 부분 스캔에서 meso-skeleton을 예측하여 글로벌 객체 구조를 포착한다.
• skeleton과 다중 해상도 로컬 특징을 융합하여 skeleton 포인트로부터 표면 변위를 회귀한다.
• 비지역적 주의 모듈을 적용하여 유용한 로컬 입력 특징을 해상도 간에 skeletal 포인트로 확산시킨다.
• 골격 특징의 업샘플링과 변형을 통해 법선(normals)을 갖춘 밀도 높은 표면을 생성하고 메쉬 재구성을 가능하게 한다.
• 원래의 부분 스캔과 예측된 표면을 병합하고 패치 디스크리미네이터와 표면 조정 모듈을 사용하여 경계선을 정제한다.

실험 결과

연구 질문

• RQ1 명시적 meso-skeleton이 부분 포인트 클라우드에서 3D 형태를 보완하는 더 나은 글로벌 추상화를 제공할 수 있는가?
• RQ2 skeleton-guided 표면 성장과 로컬 특징 증강을 결합하는 것이 엔코더-디코더 기반의 기존 방법에 비해 토폴로지 보존과 표면 충실도를 향상시키는가?
• RQ3 입력 데이터에 의해 안내되는 로컬 정제 단계가 최종 메쉬 품질 및 노말 정확도에 어떤 영향을 미치는가?
• RQ4 완성 과정에서 관측 가능한 영역의 충실도를 강제하는 패치 기반 디스크리미네이터의 역할은 무엇인가?

주요 결과

• SK-PCN은 위상 보존과 세부 디테일 회복을 통해 여러 객체 카테고리에서 기존 포인트 클라우드 보정 방법을 능가한다.
• meso-skeleton을 다리로 사용하는 것이 잠재 특징 디코더보다 더 안정적인 글로벌 구조 복원을 가능하게 한다.
• 비지역적 주의는 기여하는 로컬 입력 특징을 skeletal 포인트에 효과적으로 전파하여 표면 보정을 향상시킨다.
• 입력 스캔을 병합하고 표면 조정 모듈을 적용하면 관측 가능한 영역에서 충실도가 높아지고 메쉬 재구성을 위한 노말이 향상된다.
• 이 방법은 포인트 클라우드 보정과 후속 메쉬 재구성 작업 모두에서 향상된 결과를 보여준다.