[논문 리뷰] Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence

Yu Deng, Jiaolong Yang외 1명|arXiv (Cornell University)|2020. 11. 27.

3D Shape Modeling and Analysis참고 문헌 73인용 수 6

한 줄 요약

이 논문은 공통 템플릿 암시적 필드, 개별 인스턴스별 변형 및 보정 필드를 동시에 학습하는 신경망 3D 형상 표현인 Deformed Implicit Field(DIF)을 제안한다. DIF-Net은 노멀 일관성 및 부드러움 손실을 사용하여 레이블 없이 종합적으로 학습되며, 의자나 자동차와 같이 복잡하고 구조가 다양한 형상에서도 고해상도의 형상 생성과 조밀한 대응 관계를 달성하여 훌륭한 텍스처 전이 및 희소점 편집을 가능하게 한다.

ABSTRACT

We propose a novel Deformed Implicit Field (DIF) representation for modeling 3D shapes of a category and generating dense correspondences among shapes. With DIF, a 3D shape is represented by a template implicit field shared across the category, together with a 3D deformation field and a correction field dedicated for each shape instance. Shape correspondences can be easily established using their deformation fields. Our neural network, dubbed DIF-Net, jointly learns a shape latent space and these fields for 3D objects belonging to a category without using any correspondence or part label. The learned DIF-Net can also provides reliable correspondence uncertainty measurement reflecting shape structure discrepancy. Experiments show that DIF-Net not only produces high-fidelity 3D shapes but also builds high-quality dense correspondences across different shapes. We also demonstrate several applications such as texture transfer and shape editing, where our method achieves compelling results that cannot be achieved by previous methods.

연구 동기 및 목표

• 의자나 자동차와 같이 기하학적·구조적 변형이 큰 객체 카테고리에서 3D 형상 간 조밀한 대응 관계를 학습하는 데 도전한다.
• 기존 방법이 사전에 정렬된 토폴로지에 의존하거나 대응 레이블링을 위한 감독을 필요로 하는 한계를 극복한다.
• 부분 레이블이나 대응 annotation 없이도 고정밀 형상 생성과 신뢰할 수 있는 조밀한 대응 관계 학습을 지원하는 통합된 암시적 필드 표현을 개발한다.
• 학습된 대응 관계와 잠재 공간을 활용해 텍스처 전이 및 형상 편집과 같은 후속 응용을 가능하게 한다.

제안 방법

• 각 3D 형상을 공통 템플릿 암시적 필드의 변형 및 보정된 형태로 표현하며, 변형 및 보정 필드는 각 인스턴스별로 학습된다.
• DIF-Net이라는 신경망을 학습하여 원시 3D 형상만을 입력으로 받아 템플릿 필드, 변형 필드, 보정 필드를 동시에 예측한다.
• 대응 일관성을 확보하기 위해, 다양한 형상 간 대응하는 점들 사이의 노멀 간 각도 차이를 최소화하는 노멀 일관성 손실을 적용한다.
• 변형 필드에 공간적 부드러움 정규화를 적용하여 일반화 성능을 향상시킨다.
• 보정 필드의 크기를 제한하여 전반적인 형상 변형이 아닌 구조적 변형만 처리하도록 한다.
• 노멀 일관성, 변형 부드러움, 보정 최소화를 조합한 다중 구성 요소 손실을 사용해 네트워크를 무 supervision 방식으로 학습한다.

실험 결과

연구 질문

• RQ1 깊이 신경망은 기하학적·구조적 변형이 큰 객체 카테고리에서 어떤 감독 없이도 3D 형상 간 조밀한 대응 관계를 학습할 수 있는가?
• RQ2 암시적 필드 표현은 어떻게 통합된 프레임워크 안에서 형상 생성과 조밀한 대응 관계 학습을 동시에 지원할 수 있는가?
• RQ3 대응하는 점들 간의 노멀 일관성이 3D 형상 모델링에서 무 supervision 대응 학습을 위한 강력한 대체 신호가 될 수 있는가?
• RQ4 형상 간 구조적 차이가 존재할 때 학습 가능한 보정 필드는 대응 정확도를 얼마나 향상시키는가?
• RQ5 학습된 잠재 공간과 대응 관계는 고품질의 텍스처 전이와 희소 제어점을 사용한 직관적인 형상 편집을 가능하게 하는가?

주요 결과

• DIF-Net은 의자나 자동차와 같은 ShapeNet 카테고리에서 조밀한 대응 관계 학습에서 최신 기준 성능을 달성하며, 레이블 전이의 평균 IoU가 0.78에 이르러 AtlasNet, DualSDF, SIF를 크게 앞서며 뛰어난 성능을 보였다.
• qualitative 결과를 통해 복잡한 기하학적 구조를 정확히 재구성하는 것으로 나타나, 최소한의 잡음으로 고해상도 3D 형상을 생성함을 입증했다.
• DIF-Net이 생성한 대응 불확실성 맵은 구조적 차이를 신뢰성 있게 반영하며, 파란 영역(낮은 불확실성)과 빨간 영역(높은 불확실성)이 인지적으로 의미 있는 형상 차이와 일치한다.
• 텍스처 전이 결과는 DIF-Net이 풍부한 텍스처 패턴을 유지하고 올바른 의미적 영역으로 전이함을 보여주었으며, AtlasNet-v2 및 ShapeFlow와 같은 베이스라인 방법을 모두 능가했다.
• 식 (18)을 통한 형상 편집은 단 한 개 또는 몇 개의 제어점만으로도 직관적인 조작이 가능하며, 템플릿 공간에서 점을 조작하여 새로운 구조를 추가할 수도 있다.
• Ablation 연구 결과, 노멀 일관성 손실, 변형 부드러움 손실, 또는 보정 필드를 제거할 경우 대응 정확도와 형상 표현 성능이 심각하게 저하됨을 확인했다.