[論文レビュー] Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|Oct 23, 2020

3D Shape Modeling and Analysis被引用数 25

ひとこと要約

本稿では、チェアーや車両のようなトポロジーが変化するオブジェクト間で、密な3次元形状対応を確立するための教師なしディープラーニングフレームワークを提案する。この手法は、各3次元点に対して意味的パーツ埋め込みベクトル（PEV）を学習し、逆関数を介して形状再構築と対応予測を可能にする。信頼度スコアにより有効な対応関係を示し、特に部品構成が変動する人工物に対して顕著な効果を発揮する。

ABSTRACT

The goal of this paper is to learn dense 3D shape correspondence for topology-varying objects in an unsupervised manner. Conventional implicit functions estimate the occupancy of a 3D point given a shape latent code. Instead, our novel implicit function produces a part embedding vector for each 3D point, which is assumed to be similar to its densely corresponded point in another 3D shape of the same object category. Furthermore, we implement dense correspondence through an inverse function mapping from the part embedding to a corresponded 3D point. Both functions are jointly learned with several effective loss functions to realize our assumption, together with the encoder generating the shape latent code. During inference, if a user selects an arbitrary point on the source shape, our algorithm can automatically generate a confidence score indicating whether there is a correspondence on the target shape, as well as the corresponding semantic point if there is one. Such a mechanism inherently benefits man-made objects with different part constitutions. The effectiveness of our approach is demonstrated through unsupervised 3D semantic correspondence and shape segmentation.

研究の動機と目的

• 部品構成が著しく異なるトポロジー変化を示す人工物における密な3次元形状対応の課題に取り組む。
• 従来の手法がトポロジーの類似性を仮定するか、固定数の意味的点しか予測しないという制限を克服する。
• 教師データが不要な教師なし学習により、幾何学的・トポロジカルに変動する形状の密な対応を学習可能にする。
• 対応点を予測するだけでなく、有効な対応と存在しない対応を区別できる信頼度スコアを推定するメカニズムを開発する。
• 1つのimplicit functionフレームワークと学習可能なパーツ埋め込みを用いて、形状表現、セグメンテーション、密な対応を統合する。

提案手法

• 各3次元点に対してパーツ埋め込みベクトル（PEV）を出力する分岐型implicit functionを提案し、各ブランチが普遍的な意味的パーツ表現を学習する。
• PEVのmax-poolingを用いて占有状態を回復させ、形状再構築と表面推定を可能にする。
• 逆implicit関数 $\mathbf{\hat{x}} = g(\mathbf{o}, \mathbf{z})$ を導入し、パーツ埋め込みベクトルから3次元空間座標にマッピングすることで、密な対応予測を実現する。
• エンコーダ $E$、implicit関数 $f$、逆関数 $g$ を、占有状態損失 $\mathcal{L}^{occ}$、形状再構築損失 $\mathcal{L}^{SR}$、パーツ埋め込みの一貫性を保証する相互再構築損失を用いて同時に学習する。
• 解像度を段階的に高めたボクセルグリッド（$16^3 \to 32^3 \to 64^3$）を用いたプログレッシブトレーニングにより、収束の安定化と加速を図る。
• 推論時、ソースとターゲット形状間のPEV類似度に基づいて信頼度スコアを計算し、対応が存在するかどうかを判定する。

実験結果

リサーチクエスチョン

• RQ1 implicit functionsを、トポロジーが変化する3次元形状間で密な対応を可能にする意味的パーツ埋め込みを学習できるように拡張できるか？
• RQ2 教師データが不要なフレームワークで、形状再構築、セグメンテーション、対応を同時に学習できるか？
• RQ3 パーツ埋め込みから3次元点への逆写像が、形状変形やトポロジーの変化に対しても一貫した点対点の対応を維持できるか？
• RQ4 パーツ埋め込み類似度から導出される信頼度スコアが、有効な対応と存在しない対応を効果的に区別できるか？
• RQ5 本手法は、脚の数やアームの有無が異なるチェアーや、部品構成が多様な人工物のカテゴリに一般化可能か？

主な発見

• 本手法は、特にトポロジーが変化する形状に対して、ベンチマークデータセット上での教師なし3次元意味的対応と形状セグメンテーションで最先端の性能を達成した。
• 信頼度スコア機構により、存在しない対応（例：ターゲットのチェアにアームがない場合）が正しく識別され、その領域には低スコア（0.2未満）が割り当てられた。
• 相互再構築実験により、異なる部品構成を持つ形状間でPEVを入れ替えた場合でも、妥当な再構築が可能であることが示された。
• 潜在空間および3次元空間における補間により、変形に対しても一貫した点対点の対応が維持され、強力な一般化能力が確認された。
• 逆implicit関数により、局所的に滑らかな対応オフセットを持つ、滑らかで意味的に整合性のある形状補間が可能になった。
• 可視化結果から、信頼度スコアが対応する意味的パーツ（例：アーム、脚）では高く、一致しない部分や欠落したパーツでは低くなることが確認された。