[논문 리뷰] SALD: Sign Agnostic Learning with Derivatives

Matan Atzmon, Yaron Lipman|arXiv (Cornell University)|2020. 06. 09.

3D Shape Modeling and Analysis참고 문헌 44인용 수 5

한 줄 요약

SALD는 부호에 민감하지 않은 학습 방법을 도입하여 신경망 손실에 부호 없는 거리 함수 값과 그 기울기를 함께 통합함으로써, 방향이 지정되지 않은 점군 및 삼각형 군집과 같은 원시 3D 데이터로부터 고해상도 암묵적 표면 재구성을 가능하게 한다. 이 방법은 기울기 기반 최적화를 통해 세부 사항 보존을 향상시키고 임의의 표면 시트를 최소화함으로써 ShapeNet과 D-Faust에서 최신 기준 성능을 달성한다.

ABSTRACT

Learning 3D geometry directly from raw data, such as point clouds, triangle soups, or unoriented meshes is still a challenging task that feeds many downstream computer vision and graphics applications. In this paper, we introduce SALD: a method for learning implicit neural representations of shapes directly from raw data. We generalize sign agnostic learning (SAL) to include derivatives: given an unsigned distance function to the input raw data, we advocate a novel sign agnostic regression loss, incorporating both pointwise values and gradients of the unsigned distance function. Optimizing this loss leads to a signed implicit function solution, the zero level set of which is a high quality and valid manifold approximation to the input 3D data. The motivation behind SALD is that incorporating derivatives in a regression loss leads to a lower sample complexity, and consequently better fitting. In addition, we prove that SAL enjoys a minimal length property in 2D, favoring minimal length solutions. More importantly, we are able to show that this property still holds for SALD, i.e., with derivatives included. We demonstrate the efficacy of SALD for shape space learning on two challenging datasets: ShapeNet that contains inconsistent orientation and non-manifold meshes, and D-Faust that contains raw 3D scans (triangle soups). On both these datasets, we present state-of-the-art results.

연구 동기 및 목표

• 점군 및 삼각형 군집과 같은 원시적이고 방향이 지정되지 않거나 다중면이 아닌 3D 데이터로부터 직접 암묵적 신경 표현을 학습하는 데 도전하는 것.
• 함수 값과 기울기를 함께 포함한 부호에 민감하지 않은 회귀 손실을 통해 표면 재구성 품질을 향상시키고, 샘플 복잡도를 감소시키며 일반화 능력을 향상시키는 것.
• 부호에 민감하지 않은 학습의 최소 표면 성질을 이론적으로 정당화하고 실증적으로 검증하여, 데이터가 누락되거나 구멍이 난 영역에서 최소 면적 해를 선호하는 영역의 영향을 보장하는 것.
• 지상 진실 부호 거리 함수나 사전 처리 없이도, ShapeNet과 D-Faust와 같은 도전적인 데이터셋에서 최신 기준 성능을 달성하는 것.

제안 방법

• 부호의 모호성까지 고려한 부호에 민감하지 않은 새로운 회귀 손실을 제안하여, 부호 없는 거리 함수 값과 그 기울기를 동시에 추정한다.
• 신경망을 통해 부호 없는 거리 함수 h(x)와 그 기울기 ∇h(x)로부터 부호 있는 암묵 함수를 예측하며, 부호 변화에 대해 불변인 손실 항목을 사용한다.
• 확률적 경사 하강법을 사용하여 손실을 최적화함으로써, 영점 수준 집합이 진짜 기저 표면을 근사하는 부호 거리 함수를 복원한다.
• 이론적 분석을 통해 2차원에서는 데이터 포인트 사이에 직선 해를 선호함을 증명하며, 이 성질은 SALD를 통해 3차원으로 확장된다.
• ShapeNet에서 형태 공간 학습을 위해 변동형 오토인코더를 활용하여 잠재 공간 내부의 보간을 통해 새로운 고해상도 3D 형태를 생성한다.
• 지상 진실 법선 또는 일관된 방향이 없는 원시 데이터에서 끝내기로 학습하며, 입력 점군 또는 메시에 대한 부호 없는 거리 함수만을 활용한다.

실험 결과

연구 질문

• RQ1 기울기 정보를 부호에 민감하지 않은 학습에 통합하면 원시 3D 데이터로부터 암묵적 신경 표면 표현의 정확도와 세부 사항 향상에 기여하는가?
• RQ2 기울기 정보를 포함함으로써 암묵적 형태 학습에서 샘플 복잡도를 감소시키고 일반화 능력을 향상시키는가?
• RQ3 기울기를 손실에 포함했을 때, 데이터 누락 영역에서 최소 면적 영점 수준 집합을 선호하는 최소 표면 성질이 유지되는가?
• RQ4 SALD는 정규 벡터가 일관되지 않거나 다중면 기하학을 가진 데이터셋, 예를 들어 ShapeNet과 D-Faust에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• D-Faust 데이터셋에서 SALD는 평균 Chamfer 거리 0.397×10²와 평균 법선 거리 7.884를 기록하여, 세부 사항과 노이즈 회피를 잘 균형 잡은 상태에서 SAL과 IGR를 모두 능가하는 최신 기준 성능을 달성한다.
• SALD는 SAL에서 관찰된 최소 표면 성질을 유지하며, IGR가 겪는 고정된 표면 시트 문제를 피하고 있다. IGR는 지상 진실과의 평균 Chamfer 거리가 3.806×10²로 높게 나타난다.
• ShapeNet에서 SALD는 내부 기하학이 명확히 드러나는 고해상도 재구성을 생성하며, IGR가 보이는 과적합과 가짜 기하학을 피하면서도 SAL을 초월하는 세부 사항을 제공한다.
• D-Faust에서의 잠재 공간 보간은 모델이 혼합된 얼굴 및 신체 특성을 가진 새로운 타당한 3D 형태를 생성할 수 있음을 보여준다.
• 이론적 분석은 2차원에서 SALD 손실이 데이터 포인트 사이에 직선 영점 수준 집합을 선호함을 확인하며, 이 성질은 3차원으로 확장됨을 의미한다.
• 개방 영역과 얇은 구조를 다루는 데에는 제한이 있지만, 사전 처리나 지상 진실 법선이 없이도 다양한 원시 3D 입력에 대해 강력한 성능을 보여준다.