[논문 리뷰] Higher-Order Function Networks for Learning Composable 3D Object Representations

Eric Mitchell, Selim Engin외 2명|arXiv (Cornell University)|2020. 04. 30.

3D Shape Modeling and Analysis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 높은 차수의 함수 네트워크(HOFNs)를 제안하며, 이는 3차원 물체 표현의 새로운 방법으로, 기하학적 구조를 보조 매핑 네트워크의 가중치에 직접 인코딩한다. 단위 구면에서 점을 샘플링하고 학습된 변환을 적용함으로써, 약 7,000개의 파rameter만을 사용하여 높은 정밀도로 물체를 재구성한다. 이는 정확도 면에서 최신 기술과 동등하거나 이를 초월하며, 파rameter 수를 수개의 주기수로 감소시킨다.

ABSTRACT

We present a new approach to 3D object representation where the geometry of an object is encoded directly into the weights and biases of a second 'mapping' network. This mapping network can be used to reconstruct an object by applying its encoded transformation to points randomly sampled from a simple geometric space, such as the unit sphere. Next, we extend this concept to enable the composition of multiple mapping functions. This capability provides a method for mixing features of different objects through function composition in a latent function space. Our experiments examine the effectiveness of our method on a subset of the ShapeNet dataset. We find that this representation can reconstruct objects with accuracy equal to or exceeding state-of-the-art methods with orders of magnitude fewer parameters. Our smallest reconstruction network has only about 7000 parameters and shows reconstruction quality on par with state-of-the-art object representation architectures with millions of parameters.

연구 동기 및 목표

• 신경망 가중치에 직접 기하학을 인코딩하는 파rameter 효율적인 3차원 물체 표현을 개발하는 것.
• 잠재 기능 공간에서 함수 조합을 통해 3차원 물체 기능의 조합 가능성을 보장하는 것.
• 상당히 적은 파rameter로 최신 기술 수준의 재구성 정확도를 달성하는 것.
• 간단한 기하학적 공간, 예를 들어 단위 구면에서 점을 샘플링하는 방식이 효과적이고 일반화 가능한 3차원 재구성에 기여할 수 있는지 입증하는 것.

제안 방법

• 기하학적 구조가 보조 '매핑' 네트워크의 가중치와 편향에 인코딩된다. 이 네트워크는 단위 구면에서 샘플링된 점들을 변환한다.
• 물체 재구성은 단위 구면 상의 무작위 점들에 대해 학습된 매핑 함수를 적용하여 달성된다.
• 다중 매핑 네트워크를 스택하여 잠재 기능 공간에서의 함수 조합이 가능해지며, 이는 서로 다른 물체 간의 기능 혼합을 가능하게 한다.
• 최소한의 모델 크기를 확보하기 위해 단일이고 경량의 네트워크를 사용하며, 파rameter 수는 약 7,000개이다.
• 모델은 엔드 투 엔드로 작동하며, ShapeNet 데이터에서 재구성 오차를 최소화하도록 매핑 네트워크를 훈련시킨다.
• 네트워크의 기능적 형태를 활용하여 메쉬나 복셀에 대한 명시적 지도 없이도 복잡한 3차원 형태를 표현한다.

실험 결과

연구 질문

• RQ1 신경망 매핑 함수의 가중치에 3차원 물체 기하학을 효과적으로 직접 인코딩할 수 있는가?
• RQ2 잠재 기능 공간에서의 함수 조합이 서로 다른 3차원 물체의 기능을 의미 있는 방식으로 혼합할 수 있는가?
• RQ3 매우 파rameter 효율적인 네트워크가 최신 기술 수준의 아키텍처와 동등한 재구성 품질을 달성할 수 있는가?
• RQ4 단위 구면과 같은 간단한 기하학적 공간에서 점을 샘플링하는 것이 효과적이고 일반화 가능한 3차원 재구성을 가능하게 하는가?

주요 결과

• 제안된 방법은 ShapeNet의 일부에 대해 최신 기술 수준의 방법과 동등하거나 이를 초월하는 재구성 정확도를 달성한다.
• 가장 작은 HOFN 모델은 약 7,000개의 파rameter만을 사용하며, 수백만 개의 파rameter를 사용하는 최신 기술 수준 아키텍처와 비교해 극적으로 줄어든다.
• 매우 작은 크기임에도 불구하고, 7,000개의 파rameter를 가진 모델은 훨씬 더 큰 모델들과 동등한 재구성 품질을 제공한다.
• 잠재 기능 공간에서의 함수 조합을 통해 변환 스택을 활용해 서로 다른 물체의 기능 혼합이 가능해진다.
• 이 방법은 높은 일반화 능력과 효율성을 보이며, 최소한의 파rameter화로도 고정밀도 재구성을 가능하게 한다.