[논문 리뷰] Learning Smooth Neural Functions via Lipschitz Regularization

Hsueh‐Ti Derek Liu, FRANCIS H. WILLIAMS외 3명|arXiv (Cornell University)|2022. 02. 16.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 신경 은닉 필드에 대한 단순하고 계산 효율적인 리프시츠 정규화 방법을 제안하며, 네트워크의 리프시츠 상수의 상한을 페널티 처리하여 잠재 공간에서의 스무스함을 강제한다. 가중치 정규화와 최소한의 정규화 항을 추가함으로써, 단 두 개의 학습 샘플만으로도 고품질의 형태 보간 및 외삽을 가능하게 하며, 3D 재구성 및 테스트 시간 최적화 작업에서 비정규화된 방법과 이전의 리프시츠 방법보다 정량적·정성적으로 뛰어나게 성능을 발휘한다.

ABSTRACT

Neural implicit fields have recently emerged as a useful representation for 3D shapes. These fields are commonly represented as neural networks which map latent descriptors and 3D coordinates to implicit function values. The latent descriptor of a neural field acts as a deformation handle for the 3D shape it represents. Thus, smoothness with respect to this descriptor is paramount for performing shape-editing operations. In this work, we introduce a novel regularization designed to encourage smooth latent spaces in neural fields by penalizing the upper bound on the field's Lipschitz constant. Compared with prior Lipschitz regularized networks, ours is computationally fast, can be implemented in four lines of code, and requires minimal hyperparameter tuning for geometric applications. We demonstrate the effectiveness of our approach on shape interpolation and extrapolation as well as partial shape reconstruction from 3D point clouds, showing both qualitative and quantitative improvements over existing state-of-the-art and non-regularized baselines.

연구 동기 및 목표

• 신경 은닉 필드의 잠재 공간에서의 스무스함 부족 문제를 해결함으로써 신뢰할 수 있는 형태 편집 및 보간을 가능하게 하기 위해.
• 학습 데이터를 초월해 일반화되지 못하는 전통적인 스무스함 정규화 기법(예: 딜레르트 에너지)의 한계를 극복하기 위해.
• 광범위한 하이퍼파rameter 튜닝 없이도 잠재 공간에서의 전역적 스무스함을 보장하는 실용적이고 경량의 정규화 방법을 개발하기 위해.
• 최소한의 감독(예: 단 두 개의 학습 형태)으로도 고품질의 형태 보간 및 외삽을 가능하게 하기 위해.
• 부분 포인트 클라우드 재구성에 대한 테스트 시간 최적화의 안정성과 성능을 향상시키기 위해.

제안 방법

• 신경망의 리프시츠 상수의 상한을 페널티 처리하는 새로운 정규화 기법을 도입하여 잠재 공간의 스무스함을 강제한다.
• 리프시츠 추정의 일반화를 향상시키고 기울기 업데이트를 안정화하기 위해 가중치 정규화를 사용한다.
• 표준 손실 함수에 리프시츠 상수가 작은 값을 가지도록 유도하는 단순한 정규화 항을 추가한다.
• 완전 연결 층의 스펙트럼 노름 추정을 기반으로 한 리프시츠 상수의 미분 가능 상한을 활용한다.
• 학습 중에 정규화를 적용하여 잠재 코드 간의 스무스한 보간 및 외삽을 보장한다.
• 단 네 줄의 코드와 최소한의 하이퍼파rameter 튜닝으로만 구성되어 있어 기하학적 딥러닝 파ip라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 광범위한 하이퍼파rameter 튜닝 없이도 단순하고 경량의 정규화 기법이 신경 은닉 필드의 잠재 공간에서 전역적 스무스함을 강제할 수 있는가?
• RQ2 학습 세트를 초월한 일반화 성능 측면에서 리프시츠 정규화는 딜레르트 에너지와 같은 전통적 스무스함 정규화 기법보다 어떻게 비교되는가?
• RQ3 단 두 개의 형태로 학습했을 때 리프시츠 정규화가 형태 보간 및 외삽 성능에 얼마나 기여하는가?
• RQ4 리프시츠 정규화는 부분 포인트 클라우드 재구성에 대한 테스트 시간 최적화를 안정화시킬 수 있는가?
• RQ5 제안된 방법이 정성적·정량적 재구성 지표에서 최신 기준 기준보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 비정규화된 방법과 이전의 리프시츠 방법보다 단 두 개의 형태로 학습한 경우조차도 훨씬 더 우수한 형태 보간 및 외삽 결과를 달성한다.
• 부분 포인트 클라우드 재구성에 대한 테스트 시간 최적화에서, 평균 카프차이 거리(Chamfer distance)는 기준 모델인 DeepSDF의 0.0343에서 0.0013으로 감소하고, 하우스도르프 거리(Hausdorff distance)는 0.3441에서 0.1270으로 감소한다.
• 정규화 덕분에 더 컴act하고 스무스한 잠재 다각형(manifold)을 유도함으로써 테스트 시간 최적화의 안정성이 향상되어 초기화에 대한 민감도와 국소 최적점에 대한 민감도가 감소한다.
• 정규화는 계산적으로 효율적이며 최소한의 하이퍼파rameter 튜닝으로도 다양한 기하 작업에서 안정된 성능을 보이며, 성능이 일관되게 유지된다.
• 잠재 코드 간의 형태에 대한 스무스하고 연속적인 변형이 가능하며, 토러스와 더블 토러스 사이의 보간을 통해 이를 입증하였다.
• 이 방법은 오염망(occupancy networks)과 같은 다른 은닉 표현으로도 일반화되며, 재구성 품질 향상에 일관되게 기여한다.