[논문 리뷰] Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|2020. 10. 23.

3D Shape Modeling and Analysis인용 수 25

한 줄 요약

이 논문은 의자나 차량과 같은 토폴로지가 변하는 물체 간에 고밀도 3D 형태 대응을 수립하기 위해 암묵 함수를 사용하는 비지도 딥러닝 프레임워크를 제안한다. 각 3D 점에 대해 의미적 부분 임베딩 벡터(PEV)를 학습함으로써, 역함수를 통해 형태 복원과 대응 예측을 동시에 수행하며, 유효한 대응 관계를 나타내는 신뢰도 점수를 제공한다. 특히 부분 구조가 변하는 인공물에 대해 매우 효과적이다.

ABSTRACT

The goal of this paper is to learn dense 3D shape correspondence for topology-varying objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a part embedding vector for each 3D point, which is assumed to be similar to its densely corresponded point in another 3D shape of the same object category. Furthermore, we implement dense correspondence through an inverse function mapping from the part embedding to a corresponded 3D point. Both functions are jointly learned with several effective loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.

연구 동기 및 목표

• 부분 구성이 상당히 다를 수 있는 토폴로지가 변하는 인공물 3D 형태에 대해 고밀도 대응을 해결하는 데 초점한다.
• 기존 방법이 토폴로지 유사성을 가정하거나 고정된 수의 의미적 점만 예측한다는 한계를 극복한다.
• 지표 없이도 기하학적 및 토폴로지가 변하는 형태에 대해 비지도 학습을 통해 고밀도 대응을 학습할 수 있도록 한다.
• 단지 대응되는 점을 예측하는 것뿐만 아니라, 유효한 대응과 존재하지 않는 대응을 구분할 수 있는 신뢰도 점수를 추정하는 메커니즘을 개발한다.
• 학습 가능한 부분 임베딩을 갖춘 단일 암묵 함수 프레임워크를 통해 형태 표현, 세그멘테이션, 고밀도 대응을 통합한다.

제안 방법

• 각 3D 점에 대해 부분 임베딩 벡터(PEV)를 출력하는 분기형 암묵 함수를 제안하며, 각 분기는 통합된 의미적 부분 표현을 학습한다.
• PEV의 최대 풀링을 통해 점유도를 복원함으로써 형태 복원 및 표면 추정을 가능하게 한다.
• 부분 임베딩 벡터에서 3D 공간 점으로의 역함수 $\mathbf{\hat{x}} = g(\mathbf{o}, \mathbf{z})$ 를 도입하여 고밀도 대응 예측이 가능하도록 한다.
• 점유도 손실 $\mathcal{L}^{occ}$, 형태 복원 손실 $\mathcal{L}^{SR}$, 부분 임베딩 일관성에 대한 교차 복원 손실을 포함한 다중 손실 함수를 사용하여 인코더 $E$, 암묵 함수 $f$, 역함수 $g$ 를 함께 학습한다.
• 수렴을 안정화하고 가속화하기 위해 해상도가 점차 증가하는 볼륨 그리드($16^3 \to 32^3 \to 64^3$)에서 점진적 학습을 활용한다.
• 추론 과정에서 소스 및 타겟 형태 간의 PEV 유사도를 기반으로 신뢰도 점수를 계산하여 대응 관계가 존재하는지 여부를 판단한다.

실험 결과

연구 질문

• RQ1 암묵 함수가 토폴로지가 변하는 3D 형태 간에 고밀도 대응을 가능하게 하는 의미적 부분 임베딩을 학습할 수 있는가?
• RQ2 지표 없이도 형태 복원, 세그멘테이션, 대응을 동시에 학습할 수 있는 비지도 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 부분 임베딩에서 3D 점으로의 역매핑이 형태 변형 및 토폴로지 변화에 걸쳐 일관된 점 대 점 대응을 유지할 수 있는가?
• RQ4 부분 임베딩 유사도에서 유도된 신뢰도 점수가 유효한 대응과 존재하지 않는 대응을 효과적으로 구분할 수 있는가?
• RQ5 제안된 방법은 다리나 팔의 수가 다른 의자와 같이 부분 구조가 다양한 다양한 인공물 카테고리에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 비지도 3D 의미적 대응 및 형태 세그멘테이션 분야에서 최신 기준 성능을 달성하며, 특히 토폴로지가 변하는 형태에 대해 뛰어난 성능을 보인다.
• 신뢰도 점수 메커니즘이 타겟 의자에 팔이 없을 경우와 같이 존재하지 않는 대응을 성공적으로 식별하여, 이러한 영역에 대해 낮은 점수(<0.2)를 할당한다.
• 교차 복원 실험을 통해 부분 구성이 다를 경우에도 형태 간에 PEV를 교환하여 타당한 복원 결과를 도출함을 확인하였다.
• 잠재공간 및 3D 공간에서의 보간은 변형이 있을 경우에도 일관된 점 대 점 대응을 유지하며, 뛰어난 일반화 능력을 보여준다.
• 역암묵 함수는 국소적으로 매끄러운 대응 오프셋을 유지하며 매끄럽고 의미적으로 유의미한 형태 보간을 가능하게 한다.
• 시각화 결과는 해당 점수들이 대응되는 의미적 부분(예: 팔, 다리)에서는 높고, 대응되지 않거나 없는 부분에서는 낮다는 것을 확인하였다.