[論文レビュー] GEOMetrics: Exploiting Geometric Structure for Graph-Encoded Objects

Edward J. Smith, Scott Fujimoto+2 more|arXiv (Cornell University)|Jan 31, 2019

3D Shape Modeling and Analysis被引用数 37

ひとこと要約

GEOMetrics は、ゼロ近傍グラフ畳み込みネットワーク（0N-GCN）、適応的なフェース分割、局所/グローバルの二重損失を導入し、画像から適応メッシュを再構成する。頂点数を大幅に減らしつつ ShapeNet で最先端の結果を達成する。

ABSTRACT

Mesh models are a promising approach for encoding the structure of 3D objects. Current mesh reconstruction systems predict uniformly distributed vertex locations of a predetermined graph through a series of graph convolutions, leading to compromises with respect to performance or resolution. In this paper, we argue that the graph representation of geometric objects allows for additional structure, which should be leveraged for enhanced reconstruction. Thus, we propose a system which properly benefits from the advantages of the geometric structure of graph encoded objects by introducing (1) a graph convolutional update preserving vertex information; (2) an adaptive splitting heuristic allowing detail to emerge; and (3) a training objective operating both on the local surfaces defined by vertices as well as the global structure defined by the mesh. Our proposed method is evaluated on the task of 3D object reconstruction from images with the ShapeNet dataset, where we demonstrate state of the art performance, both visually and numerically, while having far smaller space requirements by generating adaptive meshes

研究の動機と目的

• 3D物体再構成のためのボクセルと点群に代わる、スケーラブルでディテール適応型のメッシュ表現を動機づける。
• 頂点レベルの情報を保持し、メッシュ再構成の過剰平滑化を防ぐグラフベースの手法を開発する。
• メッシュ表面の必要な箇所にディテールを集中させる適応的なフェース分割を導入する。
• 局所的な表面ディテールとグローバルなメッシュ構造を同時に活用する学習目的を提案する。
• Vertex数を削減しつつ ShapeNet で最先端の性能を実証する。

提案手法

• グラフベースの更新を可能にしつつ頂点レベルの情報を保持するZero-Neighbor Graph Convolutional Networks (0N-GCN) を提案する。
• 高曲率領域に頂点を追加して局所的なディテールを発現させる適応的なフェース分割手順を導入する。
• 頂点位置ではなく表面を比較する微分可能な表面サンプリング損失を開発し、点対表面および表面対点のペナルティを可能にする。
• メッシュをメッシュ-to-voxel ネットワークでエンコードしてグローバル構造をボクセル空間表現と整合させるグローバルなメッシュ損失を使用する。
• 上記を最終目的関数 L = γ1 L_latent + γ2 L_PtS + γ3 L_Edge + γ4 L_Δλ に結合し、PtP を初期学習時のより高速な代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 0N-GCN によって頂点ごとの情報を保持すること、標準のGCNよりメッシュ再構成の品質を改善する可能性はあるか？
• RQ2 適応的なフェース分割は、均一な分割より局所的な幾何学的ディテールをよりよく捉えるか？
• RQ3 微分可能な表面ベースの損失（PtP、PtS）とグローバル潜在損失は、真の表面とグローバル構造への整合性を改善するか？
• RQ4 メッシュ-to-voxel 潜在エンコーディングは、メッシュ再構成に有意義なグローバル監視信号を提供するか？
• RQ5 ShapeNet における精度と頂点効率の観点で、GEOMetrics は既存のメッシュ手法および非メッシュ手法とどう比較されるか？

主な発見

カテゴリ	3D-R2N2	PSG	N3MR	頂点数 (PSG/N3MR)	Pixel2Mesh	頂点数 (Pixel2Mesh)	Ours	頂点数 (Ours)
平面	41.46	68.20	62.10	642	71.12	2466	89.00	645.03
ベンチ	34.09	49.29	35.84	642	57.57	2466	72.11	514.54
キャビネット	49.88	39.93	21.04	642	60.39	2466	59.52	556.68
車	37.80	50.70	36.66	642	67.86	2466	74.64	509.33
椅子	40.22	41.60	30.25	642	54.38	2466	56.61	619.13
モニター	34.38	40.53	28.77	642	51.39	2466	59.50	449.65
ランプ	32.35	41.40	27.97	642	48.15	2466	58.65	743.28
スピーカー	45.30	32.61	19.46	642	48.84	2466	49.53	550.06
銃器	28.34	69.96	52.22	642	73.20	2466	88.36	638.35
ソファ	40.01	36.59	25.04	642	51.90	2466	59.54	561.79
テーブル	43.79	53.44	28.40	642	66.30	2466	66.33	732.82
携帯電話	42.31	55.95	27.96	642	70.24	2466	73.65	416.05
水上艇	37.10	51.28	43.71	642	55.12	2466	68.32	526.04
平均	39.01	48.58	33.80	642	59.72	2466	67.37	574.06

• GEOMetrics は ShapeNet における単一画像からの3D再構成で最先端の性能を達成し、ほとんどのクラスで表面 F1 スコアが向上。
• 平均して、GEOMetrics は基準法よりクラス表面サンプリングF1スコアを7.65ポイント向上させつつ、頂点数は平均574.06と少なくする。
• 適応的なフェース分割は非均一なディテールを可能にし、Pixel2Mesh と比較して最大4.3倍の頂点削減を実現しつつディテールを向上。
• 0N-GCN は局所的な頂点情報を保持するのに役立ち、標準の GCN や均一分割のアブレーションより性能向上に寄与。
• 微分可能な表面サンプリング損失とグローバル潜在メッシュ-ボクセル目的関数の組み合わせは、より正確で全球的に一貫したメッシュ再構成を生み出す。