[논문 리뷰] Learning elementary structures for 3D shape generation and matching

Théo Deprelle, Thibault Groueix외 4명|arXiv (Cornell University)|2019. 08. 13.

3D Shape Modeling and Analysis참고 문헌 30인용 수 15

한 줄 요약

이 논문은 형태 집합에서 탄성 있고 재사용 가능한 3D 기본 구조를 학습하여 3D 형태 생성 및 매칭을 향상시키는 것을 제안한다. 두 가지 방법—패치 변형 학습 및 점 이동 학습—을 사용하여 수동으로 설계된 기본 소자를 능가하는 해석 가능한 반복적인 부분(예: 날개, 尾)을 자동으로 발견하며, FAUST에서 AtlasNet보다 16% 높은 복원 정확도와 3D-CODED보다 6% 높은 대응 정확도를 달성한다.

ABSTRACT

We propose to represent shapes as the deformation and combination of learnable elementary 3D structures, which are primitives resulting from training over a collection of shape. We demonstrate that the learned elementary 3D structures lead to clear improvements in 3D shape generation and matching. More precisely, we present two complementary approaches for learning elementary structures: (i) patch deformation learning and (ii) point translation learning. Both approaches can be extended to abstract structures of higher dimensions for improved results. We evaluate our method on two tasks: reconstructing ShapeNet objects and estimating dense correspondences between human scans (FAUST inter challenge). We show 16% improvement over surface deformation approaches for shape reconstruction and outperform FAUST inter challenge state of the art by 6%.

연구 동기 및 목표

• 다양한 형태에 일반화되는 일관되고 데이터 기반의 3D 기본 소자를 수동으로 선택한 템플릿에 의존하지 않고 발견하는 것.
• 형태 집합에서 공유 가능한 탄성 있는 구조를 학습하여 3D 형태 복원 및 조밀한 대응 추정을 향상시키는 것.
• 학습된 구조의 선형 또는 신경망 기반 변환을 통해 형태와 자세를 분리된 표현으로 가능하게 하는 것.
• 형태의 추상화와 딥 표면 변형을 통합하여 이해 가능하고 미분 가능한 구조를 학습하는 것.

제안 방법

• 패치 변형 학습을 활용: 2D 또는 3D의 초기 표면(예: 정사각형 또는 구)을 다층 퍼셉트론(MLP)을 사용해 학습된 기본 구조로 변형한다.
• 점 이동 학습을 사용: 고정된 점 집합의 위치를 최적화하여 목표 형태를 재구성함으로써 위상 유연성을 확보한다.
• 공유 구조 접근법을 적용: 동일한 학습된 기본 구조가 모든 형태에서 사용되어 일관성을 확보한다.
• 구조 학습과 변형 또는 이동을 결합한 딥 아키텍처를 활용하여 복원 및 대응 손실을 포함한 엔드 투 엔드 훈련을 가능하게 한다.
• 더 높은 차원의 기본 구조(예: 10D)를 허용하기 위해 템플릿을 더 높은 차원 공간으로 투영하거나 임bedding함으로써 복원 정밀도를 향상시킨다.
• 추론 중에 선형 또는 MLP 기반 변환을 사용해 구조의 자세와 위치를 조정함으로써 이해 가능하고 탄력적인 형태 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수동으로 부분 레이블이 없는 형태 집합에서 일관되고 재사용 가능한 3D 기본 구조 세트를 자동으로 학습할 수 있는가?
• RQ2 데이터 기반으로 학습된 기본 구조는 수동으로 설계된 기본 소자보다 더 나은 3D 형태 복원 및 대응 성능을 낼 수 있는가?
• RQ3 패치 변형 학습과 점 이동 학습의 서로 다른 학습 철학이 표면 연속성, 위상 적합성 및 성능 측면에서 어떻게 비교되는가?
• RQ4 학습된 구조는 형태와 자세 성분으로 분리되어 해석 가능한 형태 조작을 가능하게 하는가?
• RQ5 더 높은 차원의 기본 구조를 사용할 경우 복원 및 대응 정확도가 향상되는가?

주요 결과

• 일반적인 물체 복원(스러리얼 데이터셋)에서 AtlasNet보다 16% 높은 복원 정확도를 달성하며, 카멘 손실은 1.11 대비 1.33을 기록한다.
• 인간 형태 대응에 대한 FAUST 벤치마크에서 3D-CODED보다 6% 높은 성능을 보이며, 대응 오차는 2.76 대비 2.96을 기록한다.
• 학습된 기본 구조는 비행기에서 날개, 尾, 반응로와 같은 해석 가능한 부분에 해당하여 의미 있는 구조 발견을 나타낸다.
• 점 이동 학습이 가장 높은 복원 성능(카멘 손실 1.11)을 보였고, 변형 학습은 더 나은 대응을 제공(오차 2.76)하여 표면 연속성과 대응 정확도 사이의 상충 관계를 드러낸다.
• 더 높은 차원의 기본 구조(예: 10D)는 복원 성능을 향상시키며, SURREAL에서 카멘 손실이 1.01로 감소하여 방법의 확장성을 보여준다.
• 학습된 구조는 형태 간에 일관되며, 노이즈와 구멍이 있는 경우에도 새로운 데이터에 잘 일반화되며, FAUST 데이터셋에서 이를 입증했다.