[논문 리뷰] SRPCN: Structure Retrieval based Point Completion Network

Kaiyi Zhang, Ximing J. Yang외 2명|arXiv (Cornell University)|2022. 02. 06.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

SRPCN는 k-means 클러스터링과 KL 발산을 사용하여 데이터베이스에서 구조적으로 타당한 완전한 형태를 검색하는 구조 검색 기반의 포인트 클라우드 복원 네트워크를 제안한다. 구조 포인트를 가우시안 분포로 모델링하고 검색 기반 복원을 활용하여 기존 방법에 비해 더 현실적인 출력과 다양한 부족 패턴에 대한 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Given partial objects and some complete ones as references, point cloud completion aims to recover authentic shapes. However, existing methods pay little attention to general shapes, which leads to the poor authenticity of completion results. Besides, the missing patterns are diverse in reality, but existing methods can only handle fixed ones, which means a poor generalization ability. Considering that a partial point cloud is a subset of the corresponding complete one, we regard them as different samples of the same distribution and propose Structure Retrieval based Point Completion Network (SRPCN). It first uses k-means clustering to extract structure points and disperses them into distributions, and then KL Divergence is used as a metric to find the complete structure point cloud that best matches the input in a database. Finally, a PCN-like decoder network is adopted to generate the final results based on the retrieved structure point clouds. As structure plays an important role in describing the general shape of an object and the proposed structure retrieval method is robust to missing patterns, experiments show that our method can generate more authentic results and has a stronger generalization ability.

연구 동기 및 목표

• 기존 포인트 클라우드 복원 방법이 자주 흐릿하거나 타당하지 않은 구조를 생성하는 데서 비롯되는 낮은 진실성 문제를 해결하기 위해.
• 학습 중에 고정된 부족 패턴을 가정하는 현재 방법들의 제한된 일반화 능력을 극복하기 위해.
• 적은 수의 포인트로도 일반적인 형태를 유지하는 새로운 표현 방식인 '구조 분포'를 도입하기 위해.
• 부분 입력과 유사한 완전한 형태를 매칭하기 위해 KL 발산 기반의 강력한 검색 메커니즘을 개발하기 위해.
• 기존 표준 벤치마크를 넘어서 실제 세계의 부족 패턴에서 개선된 성능을 입증하기 위해.

제안 방법

• 입력된 부분 포인트 클라우드와 기준 완전 포인트 클라우드 양측에서 핵심 구조 포인트를 추출하기 위해 k-means 클러스터링을 적용한다.
• 각 구조 포인트는 타원형 가우시안 분포로 모델링되어 물체의 일반적 형태를 나타내는 분포 표현을 형성한다.
• 개별 가우시안 성분을 융합하여 전체 구조 분포를 구성함으로써 분포 수준의 비교가 가능해진다.
• 데이터베이스에 저장된 기준 형태에서 가장 유사한 완전한 구조 포인트 클라우드를 검색하기 위해 KL 발산을 거리 측도로 사용한다.
• 검색된 구조 포인트 클라우드를 업샘플링하기 위해 PCN 유사 디코더 네트워크를 사용하여 최종 완전한 포인트 클라우드를 생성한다.
• 검색 과정이 부족 패턴에 대해 불변이므로 다양한 입력 손상 상황에서도 강력한 일반화 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습을 초월해 구조 기반 검색 메커니즘이 포인트 클라우드 복원의 진실성 향상에 기여할 수 있는가?
• RQ2 구조 분포 표현 방식은 다양한 임의의 부족 패턴에 대해 얼마나 잘 일반화되는가?
• RQ3 형태 복원을 직접 수행하는 것에 비해, 분포 매칭에 KL 발산을 사용할 경우 구조적 정밀도가 향상되는가?
• RQ4 기본 진짜 값이 검색되지 않더라도 검색 기반 복원이 타당한 결과를 생성할 수 있는가?
• RQ5 제안된 방법은 복원 출력에서 시각적 잡음과 구조적 모호성을 얼마나 줄이는가?

주요 결과

• qualitative 결과에서 SRPCN는 PCN, TopNet, GRNet에 비해 더 타당하고 구조적으로 일관된 출력을 보이며 뛰어난 복원 진실성을 확보한다.
• 포인트 간 정렬에 민감한 Chamfer Distance에서는 성능이 열악했지만, 시각적으로 더 진실감 있는 결과를 생성함으로써 표준 지표가 인지적 품질을 반영하지 못할 수 있음을 시사한다.
• 학습 중에 볼 수 없었던 부족 패턴, 예를 들어 시점 기반 포인트 제거나 깊이 영상 역투영 등에도 잘 일반화되어 있음을 확인했다.
• 기본 진짜 값과 다른 형태를 검색하더라도 복원 결과는 타당하고 구조적으로 안정되어 있어 검색 오류에 대한 강건성을 입증한다.
• 분포 밀도 시각화를 통해 구조 분포 표현 방식이 흐릿한 구조 포인트로 인한 불안정성을 효과적으로 줄이며 일반 형태를 잘 유지함을 검증했다.
• 일반화 실험을 통해 SRPCN는 PF-Net와 같은 기준 모델이 실패하는 새로운 두 가지 부족 패턴에서도 높은 품질의 출력을 유지함을 확인했다.