[논문 리뷰] Neural Cages for Detail-Preserving 3D Deformations

Yifan Wang, Noam Aigerman외 3명|arXiv (Cornell University)|2019. 12. 13.

3D Shape Modeling and Analysis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 목표 구조에 맞게 3D 모양을 변형하면서도 세밀한 기하학적 세부 정보를 유지하는 학습 가능한 신경망 기반 케이지 변형 프레임워크를 제안한다. 깊이 신경망에 미분 가능한 케이지 기반 변형 레이어를 통합함으로써, 밀도 높은 대응 관계나 애너테이션된 케이지가 필요 없이도 비페어드 3D 데이터에 대해 엔드 투 엔드 학습이 가능해지며, 밀도 높은 대응 관계나 애너테이션 없이도 형태 변화 및 변형 전이에서 최신 기술 수준의 세부 정보 유지 성능을 달성한다.

ABSTRACT

We propose a novel learnable representation for detail-preserving shape deformation. The goal of our method is to warp a source shape to match the general structure of a target shape, while preserving the surface details of the source. Our method extends a traditional cage-based deformation technique, where the source shape is enclosed by a coarse control mesh termed \emph{cage}, and translations prescribed on the cage vertices are interpolated to any point on the source mesh via special weight functions. The use of this sparse cage scaffolding enables preserving surface details regardless of the shape's intricacy and topology. Our key contribution is a novel neural network architecture for predicting deformations by controlling the cage. We incorporate a differentiable cage-based deformation module in our architecture, and train our network end-to-end. Our method can be trained with common collections of 3D models in an unsupervised fashion, without any cage-specific annotations. We demonstrate the utility of our method for synthesizing shape variations and deformation transfer.

연구 동기 및 목표

• 3D 모양 변형 중에 세밀한 기하학적 세부 정보를 유지하는 문제를 해결하기 위해, 특히 서로 다른 토폴로지나 구조를 가진 목표로 정렬할 때의 도전 과제를 다룬다.
• 기존 신경망 기반 변형 방법의 한계를 극복하기 위해, 국소 기하학을 잘 모델링하지 못해 고주파 특징이 왜곡되거나 손상되는 문제를 해결한다.
• 밀도 높은 대응 관계나 수동 애너테이션에 의존하지 않고, 비페어드 3D 모양 컬렉션에 대해 비지도, 엔드 투 엔드 학습이 가능하도록 한다.
• 낮은 차원의, 특징을 유지하는 변형 공간을 제공하여, 새로운 형태나 토폴로지에 일반화할 수 있도록 한다.
• 희소 대응 관계나 중립 자세만으로도 새로운 비슷하지 않은 목표 형태로의 형태 변형 합성 및 변형 전이와 같은 실용적 응용을 가능하게 한다.

제안 방법

• 새로운, 미분 가능한 보간 기법을 통해 정점 가중치를 계산하는, 기존의 케이지 기반 변형 레이어를 도입함으로써, 변형 과정을 통해 역전파가 가능하게 한다.
• 원본 형태의 케이지 기하학(학습 가능한 케이지 예측 네트워크를 통해)과 케이지 정점 이동을 동시에 예측하는 신경망 아키텍처를 제안한다.
• 다중 구성 요소 손실 함수를 활용하며, 점에서 면까지의 거리(Lp2f), 법선 일致성(Lnormal), 대칭성(Lsymm)을 포함한 형태 유지 손실(Lshape)과 변형 일관성 손실(LMVC)을 포함한다. 이는 매끄럽고 일관된 변형을 보장한다.
• 밀도 높은 대응 관계나 케이지 애너테이션 없이, 데이터셋에서 무작위로 선택한 원본 및 목표 형태 쌍을 사용하여 전체 파이프라인을 비지도 방식으로 엔드 투 엔드로 학습한다.
• 원본 형태에 맞게 최적화되는 형태에 적합한 케이지(42개 정점의 구형 템플릿 케이지)를 케이지 예측 네트워크의 입력으로 사용한다.
• 왜곡을 줄이기 위해, 비록 주요 형태 유지 기능은 Lp2f와 Lnormal에 의해 강화되지만, 미분 가능한 라플라시안 정규화(Llap)를 적용한다.

실험 결과

연구 질문

• RQ1 깊이 신경망이 고정밀도, 세부 정보 유지 가능한 3D 모양 변형을 달성하기 위해 케이지 기하학과 변형 매개변수를 효과적으로 예측할 수 있는가?
• RQ2 미분 가능한 케이지 기반 변형 레이어가 밀도 높은 대응 관계나 수동 애너테이션 없이 엔드 투 엔드 학습을 얼마나 잘 가능하게 하는가?
• RQ3 기존의 신경 변형 네트워크와 비교해 볼 때, 제안된 방법은 세밀한 기하학적 세부 정보 유지와 왜곡 최소화에 얼마나 효과적인가?
• RQ4 희소한 대응 관계가 있을 때조차도, 새로운 원본 형태와 서로 다른 토폴로지나 노이즈 수준을 가진 목표 형태로 일반화가 가능한가?
• RQ5 다양한 손실 구성 요소(Lp2f, Lnormal, LMVC 등)가 변형 품질과 세부 정보 유지에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 ShapeNet 데이터셋에서 1.44 (×10²)의 챔퍼 디스턴스를 달성하여, 기준 방법들보다 정렬 정확도에서 뚜렷한 우수성을 보이며 세밀한 세부 정보를 유지한다.
• 절단 분석 결과, 형태 유지 손실에 Lp2f와 Lnormal을 사용할 경우 왜곡이 감소하고 정렬 성능이 향상되며, 이전 연구에서 사용된 Llap보다 Lp2f가 더 우수한 성능을 낸다.
• 원본 형태에 특화된 케이지를 학습하는 케이지 예측 네트워크(Nc)가 가장 뛰어난 성능을 보였으며(CD: 3.06 ×10², 코탄젠트 라플라시안: 10.45 ×10³), 고정된 구형 케이지나 모든 학습 형태에 대해 하나의 최적화된 케이지보다 뛰어난 성능을 보였다.
• 소수의 희소 대응 관계만으로도 새로운 인간형 캐릭터(SCAPES, X-Bot 등)로 변형을 성공적으로 전이하여 뛰어난 일반화 능력을 입증했다.
• LMVC 손실은 변형의 일관성을 효과적으로 제어한다: LMVC의 가중치를 1에서 10으로 증가시키면 챔퍼 거리가 1.44에서 2.65로 증가하지만 왜곡은 감소하여 정렬과 매끄러움 사이의 상충 관계를 보여준다.
• 정성적 비교와 낮은 코탄젠트 라플라시안 값으로 보여지듯이, 제안된 방법은 이전의 신경 변형 방법보다 예리한 모서리나 얇은 기하학적 구조와 같은 중요한 기하학적 특징을 더 잘 유지한다.