[논문 리뷰] Overfit Neural Networks as a Compact Shape Representation.

Thomas Davies, Derek Nowrouzezahrai외 1명|arXiv (Cornell University)|2020. 09. 17.

3D Shape Modeling and Analysis인용 수 21

한 줄 요약

이 논문은 3차원 형태를 압축적이고 고정밀도의 부호거리장(SDF)으로 표현하는 오버피팅 신경망인 Neural Implicits를 제안한다. 새로운 손실 함수, 샘플링 전략 및 감독 프로토콜을 사용함으로써, 동일한 저장 비용에서 삼각형 메esh보다 뛰어난 정확도를 달성하며, 컴퓨터 그래픽스에서 제1급의 암묵적 형태 표현으로서 강력한 잠재력을 보여준다.

ABSTRACT

Neural networks have proven to be effective approximators of signed distance fields (SDFs) for solid 3D objects. While prior work has focused on the generalization power of such approximations, we instead explore their suitability as a compact - if purposefully overfit - SDF representation of individual shapes. Specifically, we ask whether neural networks can serve as first-class implicit shape representations in computer graphics. We call such overfit networks Neural Implicits. Similar to SDFs stored on a regular grid, Neural Implicits have fixed storage profiles and memory layout, but afford far greater accuracy. At equal storage cost, Neural Implicits consistently match or exceed the accuracy of irregularly-sampled triangle meshes. We achieve this with a combination of a novel loss function, sampling strategy and supervision protocol designed to facilitate robust shape overfitting. We demonstrate the flexibility of our representation on a variety of standard rendering and modelling tasks.

연구 동기 및 목표

• 오버피팅된 신경망이 개별 3차원 형태의 압축적이고 고정밀도 표현으로 기능할 수 있는지 조사하기.
• 기존의 신경 SDF 근사치가 일반화를 우선시하면서 형태 특화 정확도를 저해하는 한계를 해결하기.
• 격자 기반 SDF의 고정된 메모리 레이아웃과 신경망의 뛰어난 정확도를 결합한 표현 개발하기.
• 맞춤형 훈련 프로토콜, 손실 함수 및 샘플링 전략을 통해 견고한 형태 오버피팅을 가능하게 하기.
• 표준 렌더링 및 모델링 작업에서 제안된 표현의 유연성과 성능 평가하기.

제안 방법

• 목표 형태에 대한 오버피팅을 장려하고 기준 SDF에서의 편차를 최소화하기 위해 특별히 설계된 새로운 손실 함수 제안.
• 기하학적 복잡도 또는 높은 오차가 발생하는 영역에 집중하는 전용 샘플링 전략을 적용하여 학습 효율성과 정확도 향상.
• 샘플된 점들에서 정확한 SDF 감독을 강제하는 감독 프로토콜을 도입하여 정확한 거리장 근사 보장.
• 백프로파게이션을 사용해 제안된 손실을 최소화하는 방식으로, 완전 연결 신경망을 사용해 쿼리 점의 부호거리 예측.
• 일반적인 SDF 격자와 유사한 고정된 저장 비용 프로파일과 메모리 레이아웃 유지로 효율적 메모리 접근 및 그래픽스 파이프라인 통합 가능.
• 일반화를 방지하고 특정 형태에 대해 고정밀도로 정확도를 높이기 위해 오버피팅을 기능으로 간주, 버그로 보지 않음.

실험 결과

연구 질문

• RQ1 오버피팅된 신경망은 개별 3차원 형태에 대해 압축적이고 정밀한 암묵적 표현으로 기능할 수 있는가?
• RQ2 동일한 저장 비용에서 오버피팅된 신경망의 정확도는 비균일 샘플링 삼각형 메쉬보다 어떻게 비교되는가?
• RQ3 견고한 형태 오버피팅을 달성하기 위해 필요한 훈련 요소—손실 함수, 샘플링, 감독—는 무엇인가?
• RQ4 Neural Implicits는 표준 렌더링 및 모델링 워크플로우에서 효과적으로 사용될 수 있는가?
• RQ5 Neural Implicits의 고정된 메모리 레이아웃은 기존 그래픽스 시스템에 효율적으로 통합될 수 있는가?

주요 결과

• 동일한 저장 비용에서 Neural Implicits는 3차원 형태 표현에서 비균일 샘플링 삼각형 메쉬를 항상 동등하거나 초월하는 정확도를 보였다.
• 제안된 손실 함수 및 감독 프로토콜은 목표 형태에서의 견고한 오버피팅을 가능하게 하여 SDF 예측 오차를 크게 감소시켰다.
• 메모리 레이아웃과 저장 비용이 격자 기반 SDF와 유사하게 고정되어 있어 효율적 메모리 접근 및 통합이 가능했다.
• Neural Implicits는 삼각형 메쉬보다 더 높은 정확도를 달성하면서도 암묵적 표현의 압축성과 규칙성을 유지했다.
• 표준 렌더링 및 모델링 작업 전반에 걸쳐 표현의 유연성과 효과성이 입증되었다.
• 결과적으로 오버피팅이 적절히 제어될 경우, 이를 기능으로 활용해 매우 정밀도가 높은 형태 특화 암묵적 표현을 만들 수 있음을 확인했다.