[論文レビュー] A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes

Isaak Lim, Alexander Dielen+2 more|arXiv (Cornell University)|Sep 18, 2018

3D Shape Modeling and Analysis参考文献 16被引用数 5

ひとこと要約

本論文は、RNN や全結合ネットワークを用いて局所的頂点近傍を逐次表現として直接符号化することで、非構造的3Dメッシュ上での内在的対応学習のためのリサンプリング不要な手法を提案する。この手法は、従来のリサンプリング技術に伴う忠実度の損失や計算コストの増加を回避しながら、形状対応ベンチマークで競争力ある性能を達成しており、多数の最先端手法を上回っている。

ABSTRACT

The question of representation of 3D geometry is of vital importance when it comes to leveraging the recent advances in the field of machine learning for geometry processing tasks. For common unstructured surface meshes state-of-the-art methods rely on patch-based or mapping-based techniques that introduce resampling operations in order to encode neighborhood information in a structured and regular manner. We investigate whether such resampling can be avoided, and propose a simple and direct encoding approach. It does not only increase processing efficiency due to its simplicity - its direct nature also avoids any loss in data fidelity. To evaluate the proposed method, we perform a number of experiments in the challenging domain of intrinsic, non-rigid shape correspondence estimation. In comparisons to current methods we observe that our approach is able to achieve highly competitive results.

研究の動機と目的

• 3Dメッシュを用いた深層学習におけるリサンプリングの必要性を排除すること。
• メッシュ幾何構造を変更する前処理ステップを回避することで、計算効率の向上とデータ忠実度の向上を図ること。
• 直接的かつ生の近傍符号化が、パッチベースのリサンプリング手法と同等またはそれ以上の性能を達成できるかどうかを評価すること。
• RNNベースのモデルが不規則で非構造的なメッシュデータに対して、どれほど頑健で一般化可能であるかを調査すること。
• FAUSTデータセットの元データおよびリメッシュ版を用いてベンチマークを実施し、メッシュメッシュ分割の感度を評価すること。

提案手法

• 各中心頂点の周囲の頂点をらせん順に並べることで、リサンプリングを伴わずにトポロジー構造を保持したまま、局所的メッシュ近傍を符号化する。
• LSTM または全結合ネットワークを用いて逐次的近傍データを処理し、非正則で不規則なメッシュ構造のモデリングを可能にする。
• 辺の長さ、角度、頂点位置といった幾何的記述子をシーケンス入力に連結する。
• 地図距離などの相対的メトリクス情報を組み込むことで、メッシュメッシュ分割の変動に対する頑健性を向上させる。
• 教師あり損失を用いて、真値対応関係に基づいてエンドツーエンドで訓練し、ポイント対ポイントの対応予測を実現する。
• メッシュ接続性が不一致である可能性があるリメッシュされたFAUSTデータセットを含め、元のデータセットと併せて評価することで、メッシュ接続性の不一致に対する頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 直接的でリサンプリングなしの3Dメッシュ近傍符号化は、非剛体形状対応で競争力ある性能を達成できるか？
• RQ2 リサンプリングを回避することで、メッシュベースの深層学習におけるデータ忠実度と推論効率が向上するか？
• RQ3 RNNベースのモデルは、近傍シーケンスの順序の変更（例えば、ランダムならせん回転）に対してどれほど頑健か？
• RQ4 接続性が不一致なリメッシュデータに対しても、モデルは一般化可能か？（実世界の条件を模擬する。）
• RQ5 相対的メトリクス情報の組み込みが、メッシュ分割に敏感な困難なベンチマークで性能向上に寄与するか？

主な発見

• 提案手法はFAUSTデータセットで競争力ある性能を達成しており、地図距離誤差指標において多数の最先端手法を上回っている。
• 接続性が不一致であるリメッシュFAUSTデータセットにおいても、本手法は強力な性能を維持しており、メッシュ分割の変動に対する頑健性を示している。
• 相対的メトリクス情報（「++」と表記）の追加により、特にリメッシュデータにおいて性能が顕著に向上しており、近傍表現の向上が裏付けられている。
• ランダムならせん回転（すなわち、シーケンスの異なる開始点）に対しても、モデルは高い頑健性を示しており、100回の予測で区別できない誤差曲線が得られている。
• リサンプリングステップを排除することで計算コストを削減し、リサンプリングベースのベースラインと比較して精度を維持または向上させている。
• LSTMベースのネットワークで、より長いシーケンス長（例：30以上）を用いることで性能が向上しており、豊富な近傍コンテキストが対応学習を向上させていることが示唆されている。