[论文解读] GEOMetrics: Exploiting Geometric Structure for Graph-Encoded Objects

Edward J. Smith, Scott Fujimoto+2 more|arXiv (Cornell University)|Jan 31, 2019

3D Shape Modeling and Analysis被引用 37

一句话总结

GEOMetrics 引入零邻居图卷积网络（0N-GCN）、自适应面分割以及全局/局部双重损失，能够从图像重建自适应网格，在 Vertex 数量显著减少的情况下在 ShapeNet 上达到最新性能。

ABSTRACT

Mesh models are a promising approach for encoding the structure of 3D objects. Current mesh reconstruction systems predict uniformly distributed vertex locations of a predetermined graph through a series of graph convolutions, leading to compromises with respect to performance or resolution. In this paper, we argue that the graph representation of geometric objects allows for additional structure, which should be leveraged for enhanced reconstruction. Thus, we propose a system which properly benefits from the advantages of the geometric structure of graph encoded objects by introducing (1) a graph convolutional update preserving vertex information; (2) an adaptive splitting heuristic allowing detail to emerge; and (3) a training objective operating both on the local surfaces defined by vertices as well as the global structure defined by the mesh. Our proposed method is evaluated on the task of 3D object reconstruction from images with the ShapeNet dataset, where we demonstrate state of the art performance, both visually and numerically, while having far smaller space requirements by generating adaptive meshes

研究动机与目标

• 将网格表示作为体素与点云的可扩展、细节自适应替代方案，用于3D对象重建。
• 开发保留顶点级信息的基于图的方法，以避免网格重建中的过平滑。
• Introduce adaptive face splitting to concentrate detail where needed on the mesh surface.
• 提出一个训练目标，联合利用局部表面细节与全局网格结构。
• 在 ShapeNet 上展示最新性能，同时降低顶点数量。

提出的方法

• 提出零邻居图卷积网络（0N-GCN），在实现基于图的更新的同时保留顶点级信息。
• 引入自适应面分割过程，在高曲率区域添加顶点以输出局部细节。
• 开发一个可微分的表面采样损失，用于比较表面而非顶点位置，从而实现点到表面与表面对点的惩罚。
• 使用通过网格到体素的编码网络对网格进行全局损失编码，以使全局结构与体素空间表示对齐。
• 将上述内容组合成最终目标 L = γ1 L_latent + γ2 L_PtS + γ3 L_Edge + γ4 L_Δλ，其中 PtP 作为训练初期的更快代理。

实验结果

研究问题

• RQ1 通过 0N-GCN 维持每个顶点信息，是否能在网格重建质量上优于标准 GCN？
• RQ2 自适应面分割是否比均匀细分更能捕捉局部几何细节？
• RQ3 可微分的基于表面的损失（PtP、PtS）和全局潜在网格到体素的目标是否能改进对真实表面和全局结构的对齐？
• RQ4 网格到体素的潜在编码是否能为网格重建提供有意义的全局监督信号？
• RQ5 在 ShapeNet 上，GEOMetrics 与现有网格及非网格方法在精度和顶点效率方面的对比如何？

主要发现

类别	3D-R2N2	PSG	N3MR	Vertices (PSG/N3MR)	Pixel2Mesh	Vertices (Pixel2Mesh)	Ours	Vertices (Ours)
Plane	41.46	68.20	62.10	642	71.12	2466	89.00	645.03
Bench	34.09	49.29	35.84	642	57.57	2466	72.11	514.54
Cabinet	49.88	39.93	21.04	642	60.39	2466	59.52	556.68
Car	37.80	50.70	36.66	642	67.86	2466	74.64	509.33
Chair	40.22	41.60	30.25	642	54.38	2466	56.61	619.13
Monitor	34.38	40.53	28.77	642	51.39	2466	59.50	449.65
Lamp	32.35	41.40	27.97	642	48.15	2466	58.65	743.28
Speaker	45.30	32.61	19.46	642	48.84	2466	49.53	550.06
Firearm	28.34	69.96	52.22	642	73.20	2466	88.36	638.35
Couch	40.01	36.59	25.04	642	51.90	2466	59.54	561.79
Table	43.79	53.44	28.40	642	66.30	2466	66.33	732.82
Cellphone	42.31	55.95	27.96	642	70.24	2466	73.65	416.05
Watercraft	37.10	51.28	43.71	642	55.12	2466	68.32	526.04
Mean	39.01	48.58	33.80	642	59.72	2466	67.37	574.06

• GEOMetrics 在 ShapeNet 的单图像三维重建上实现了最先进的性能，在大多数类别上具有更高的表面 F1 分数。
• 平均而言，GEOMetrics 相较基线在类别表面采样 F1 分数上提高了 7.65 点，同时使用更少的顶点（平均 574.06）。
• 自适应面分割实现非均匀细节表达，相比 Pixel2Mesh 将顶点数量最多下降 4.3 倍同时改善细节。
• 0N-GCN 有助于保留局部顶点信息，相对于标准 GCN 和均匀分割消融实验带来性能提升。
• 可微分表面采样损失与全局潜在网格到体素目标的结合实现了更精确且全局一致的网格重建。