[논문 리뷰] Continuous Surface Embeddings

Natalia Neverova, David Novotný외 4명|arXiv (Cornell University)|2020. 11. 24.

Computational Geometry and Mesh Generation인용 수 6

한 줄 요약

이 논문은 2D 이미지 픽셀에서 3D 메시 정점의 임베딩을 예측하여 고밀도 대응 관계를 수립하는 학습 가능한 이미지 기반 표현인 연속 표면 임베딩(Continuous Surface Embeddings, CSE)을 제안한다. 차트 기반의 회귀 방식을 연속적이고 변형에 강인한 임베딩 공간으로 대체함으로써 CSE는 DensePose를 단순화하고, 균열을 제거하며, 최소한의 애너테이션으로 새로운 동물 계열에 대해 제로샷 전이를 가능하게 하여 인간 및 동물 자세 추정 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we focus on the task of learning and representing dense correspondences in deformable object categories. While this problem has been considered before, solutions so far have been rather ad-hoc for specific object types (i.e., humans), often with significant manual work involved. However, scaling the geometry understanding to all objects in nature requires more automated approaches that can also express correspondences between related, but geometrically different objects. To this end, we propose a new, learnable image-based representation of dense correspondences. Our model predicts, for each pixel in a 2D image, an embedding vector of the corresponding vertex in the object mesh, therefore establishing dense correspondences between image pixels and 3D object geometry. We demonstrate that the proposed approach performs on par or better than the state-of-the-art methods for dense pose estimation for humans, while being conceptually simpler. We also collect a new in-the-wild dataset of dense correspondences for animal classes and demonstrate that our framework scales naturally to the new deformable object categories.

연구 동기 및 목표

• 수동적인 차트 작성 또는 개별 계열에 대한 애너테이션 없이 2D 이미지와 3D 물체 기하학 간의 확장 가능한 자동화된 고밀도 대응 관계 학습 방법을 개발하기 위해.
• 3D 표면 점에 대한 공통의 보편적인 임베딩 공간을 학습하여 기울기 있는 물체 계열 간(예: 인간에서 동물로) 지식 전이를 가능하게 하기 위해.
• 차트 분할과 관련된 균열이 없는 예측을 위해 DensePose 프레임워크를 단순화하기 위해.
• 표준 3D 형상 간의 기능 맵과 임베딩 정렬을 이용하여 최소 데이터, 다중 클래스 고밀도 대응 관계 학습을 가능하게 하기 위해.
• 단일 보편 네트워크가 최소한의 피팅 및 애너테이션으로 다양한 동물 계열에 일반화될 수 있음을 보여주기 위해.

제안 방법

• 기준 형태 $S$의 각 3D 메시 정점 $X$에 대해 학습 가능한 위치 임베딩 $e_X$를 도입하여 변형에 강인한 표현을 형성한다.
• 딥 네트워크를 학습시켜 각 이미지 픽셀에서 3D 기하학으로 직접 연결되는 임베딩 벡터 $e_X$를 예측한다. 중간 단계의 UV 좌표가 필요로 하지 않는다.
• 시그모이드 함수 기반의 대비 손실 $\mathcal{L}_\sigma$를 사용하여 저자료 환경에서의 강건성과 더 나은 일반화를 향상시킨다.
• 기능 맵을 적용하여 다른 3D 모델 간(예: 인간에서 침팬지)의 임베딩을 정렬함으로써 교차 계열 지식 전이를 가능하게 한다.
• 클래스에 관계없이 공유되는 임베딩 공간과 메시에 특화된 정점 임베딩 정렬을 통해 다중 클래스 성능을 향상시킨다.
• 인간 데이터에서 사전 학습하고 최소한의 애너테이션으로 피팅하여 새로운 동물 계열로 전이할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 최소한의 감독으로 단일 보편적인 딥 네트워크가 여러 기울기 있는 물체 계열 간에 고밀도 대응 관계를 예측할 수 있는가?
• RQ2 차트 기반 UV 회귀를 연속적 표면 임베딩으로 대체할 경우 성능 향상과 학습 파이프라인 단순화가 이루어지는가?
• RQ3 기능 맵 정렬을 통해 한 계열(예: 인간)에서 학습한 임베딩이 다른 계열(예: 동물)으로 얼마나 잘 전이되는가?
• RQ4 제안된 방법이 현저히 감소된 애너테이션 비용으로 고밀도 자세 추정에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 대비 손실 $\mathcal{L}_\sigma$를 사용할 경우 표준 회귀 손실에 비해 저자료 환경에서 일반화 성능이 향상되는가?

주요 결과

• CSE 모델은 DensePose-COCO 벤치마크에서 최신 기술 수준의 성능를 달성했으며, SMPL 메시에서 GPSm 점수는 35.0, 침팬지 메시에서는 30.9를 기록하여 표준 DensePose를 초월한다.
• $\mathcal{L}_\sigma$ 손실을 사용할 경우 저자료 환경에서 현저히 향상된 일반화 성능를 보였으며, LVIS 데이터셋에서 평균 GPSm 점수는 25.2로 표준 손실 $\mathcal{L}$의 9.5보다 높다.
• 클래스에 관계없는 학습과 공유 임베딩, 메시 정렬을 통해 다중 클래스 성능가 향상되었으며, LVIS 데이터셋에서 평균 GPSm 점수는 35.0을 기록했다.
• 예측자 $\Phi$를 인간 데이터에서 사전 학습하고 정점 임베딩을 정렬함으로써 침팬지 데이터셋에서 성능이 10점 이상 향상되어 GPSm 점수 37.2를 달성했다.
• 제안된 방법은 LVIS 데이터셋의 10개의 동물 계열에 대해 성공적으로 일반화되었으며, 원래 애너테이션의 10%만으로도 평균 GPSm 점수 35.0을 기록하여 강력한 소수 샘플 전이 능력을 입증했다.
• 연속적 임베딩 표현은 차트 간의 균열을 제거하여 차트 기반 방법에 비해 더 매끄럽고 일관성 있는 고밀도 대응 관계를 제공한다.