[论文解读] Higher-Order Function Networks for Learning Composable 3D Object Representations

Eric Mitchell, Selim Engin+2 more|arXiv (Cornell University)|Apr 30, 2020

3D Shape Modeling and Analysis参考文献 33被引用 4

一句话总结

本文提出了一种新型的三维物体表征方法——高阶函数网络（HOFNs），该方法将几何信息直接编码到一个辅助映射网络的权重中。通过从单位球面上采样点并应用学习到的变换，该方法仅使用约7,000个参数即可实现高保真度的物体重建，其精度与当前最先进方法相当或更优，同时将参数量减少了数个数量级。

ABSTRACT

We present a new approach to 3D object representation where the geometry of an object is encoded directly into the weights and biases of a second 'mapping' network. This mapping network can be used to reconstruct an object by applying its encoded transformation to points randomly sampled from a simple geometric space, such as the unit sphere. Next, we extend this concept to enable the composition of multiple mapping functions. This capability provides a method for mixing features of different objects through function composition in a latent function space. Our experiments examine the effectiveness of our method on a subset of the ShapeNet dataset. We find that this representation can reconstruct objects with accuracy equal to or exceeding state-of-the-art methods with orders of magnitude fewer parameters. Our smallest reconstruction network has only about 7000 parameters and shows reconstruction quality on par with state-of-the-art object representation architectures with millions of parameters.

研究动机与目标

• 开发一种参数高效的三维物体表征方法，将几何信息直接编码到神经网络权重中。
• 通过潜在函数空间中的函数复合，实现三维物体特征的可组合性。
• 在显著减少参数数量的前提下，实现与当前最先进方法相当的重建精度。
• 证明通过变换来自简单几何空间（如单位球面）的点，可以实现有效且可泛化的三维重建。

提出的方法

• 几何信息被编码到一个辅助的‘映射’网络的权重和偏置中，该网络用于变换从单位球面采样的点。
• 通过将学习到的映射函数应用于单位球面上的随机点，实现物体的重建。
• 通过堆叠多个映射网络，实现在潜在函数空间中的函数复合，从而在潜在空间中实现不同物体间特征的混合。
• 该架构仅使用一个轻量级网络，参数量仅为约7,000个，实现了极小的模型尺寸。
• 该方法端到端运行，通过在ShapeNet数据集上最小化重建损失来训练映射网络。
• 该方法利用网络的函数形式来表征复杂的三维形状，而无需显式的网格或体素监督。

实验结果

研究问题

• RQ1 能否有效且直接地将三维物体几何信息编码到神经网络映射函数的权重中？
• RQ2 在潜在函数空间中进行函数复合，能否实现不同三维物体特征的有意义混合？
• RQ3 高度参数高效的网络能否实现与当前最先进架构相当的重建质量？
• RQ4 从单位球面等简单几何空间采样点，能否实现有效且可泛化的三维重建？

主要发现

• 所提出的方法在ShapeNet的一个子集上实现了与当前最先进方法相当或更优的重建精度。
• 最小的HOFN模型仅使用约7,000个参数，远少于当前最先进架构中数百万个参数。
• 尽管模型尺寸极小，7,000参数的模型仍能生成与更大模型相当的重建质量。
• 在潜在函数空间中通过变换堆叠实现的函数复合，能够实现不同物体特征的混合。
• 该方法展现出强大的泛化能力和效率，仅用极少的参数化即可实现高保真重建。