[論文レビュー] PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames

Yuqi Yang, Shilin Liu+3 more|arXiv (Cornell University)|Aug 15, 2018

3D Shape Modeling and Analysis参考文献 23被引用数 21

ひとこと要約

PFCNNは、平行フレーム場を用いて非ユークリッド的で曲がった表面上でも標準的な2次元畳み込みを忠実に再現できる、3次元表面メッシュ向けの新しい畳み込みニューラルネットワークフレームワークを提案する。局所的に平坦な接続とフレームに整合した接空間を活用することで、局所的な平行移動不変性を達成し、原始的な入力信号のみを用いた最先端の表面ベースCNNと比較して、形状分類、セグメンテーション、登録の分野で優れた性能を発揮する。

ABSTRACT

Surface meshes are widely used shape representations and capture finer geometry data than point clouds or volumetric grids, but are challenging to apply CNNs directly due to their non-Euclidean structure. We use parallel frames on surface to define PFCNNs that enable effective feature learning on surface meshes by mimicking standard convolutions faithfully. In particular, the convolution of PFCNN not only maps local surface patches onto flat tangent planes, but also aligns the tangent planes such that they locally form a flat Euclidean structure, thus enabling recovery of standard convolutions. The alignment is achieved by the tool of locally flat connections borrowed from discrete differential geometry, which can be efficiently encoded and computed by parallel frame fields. In addition, the lack of canonical axis on surface is handled by sampling with the frame directions. Experiments show that for tasks including classification, segmentation and registration on deformable geometric domains, as well as semantic scene segmentation on rigid domains, PFCNNs achieve robust and superior performances without using sophisticated input features than state-of-the-art surface based CNNs.

研究の動機と目的

• 3次元表面メッシュの非ユークリッド的で曲がった構造のため、標準的な2次元CNNを直接適用することが困難であるという課題に対処すること。
• 接平面全体にわたる平坦なユークリッド的構造を構築することで、メッシュ上での局所的平行移動不変性（重み共有と一般化に不可欠）を実現すること。
• 表面に標準的な軸がないという問題を解決するため、N方向フレーム場を用いて特徴マップをサンプリングし、N被覆空間に整理すること。
• 不規則で曲がったメッシュ上での特徴学習を向上させるために、正則なグリッドへの再サンプリングとフレームに整合した畳み込みを組み合わせること。
• 複雑な入力特徴に依存せずに、変形可能および剛体な幾何的領域の両方で優れた性能を達成すること。

提案手法

• PFCNNは平行フレーム場を用いて局所的に平坦な接続を符号化し、3次元メッシュの接平面間で特徴マップの経路に依存しない平行移動を可能にする。
• 各局所的表面パッチは接平面にマッピングされ、フレーム場が整列することで畳み込みが標準的な2次元畳み込みのように動作する。
• N被覆空間の構築により、N個のフレーム方向を標準軸として用いて特徴マップを整理し、表面全体にわたり一貫した畳み込み操作を可能にする。
• 不規則なメッシュ頂点は、標準的な畳み込みカーネルを適用する前に、局所的パッチを正則なグリッドに再サンプリングすることで処理する。
• 離散微分幾何学のツール、特に平行フレーム場によって符号化された局所的に平坦な接続を活用し、幾何的整合性を維持する。
• 標準的なCNNを模倣することで、効率的かつパラメータ効率の良いネットワークを実現し、既存のアーキテクチャの再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 表面ベースのCNNは、非ユークリッド的3次元メッシュ上でも、標準的な2次元CNNと同様の局所的平行移動不変性を達成できるか？
• RQ2 曲がった表面全体にわたり一貫した経路に依存しない座標系を確立するにはどうすればよいか？ これにより標準的な畳み込み操作が可能になる。
• RQ3 フレーム場の解像度（N）は、メッシュベースのディープラーニングにおける性能と計算コストにどのような影響を及ぼすか？
• RQ4 正規化（例：インスタンス正規化 vs. バッチ正規化）は、変形可能な3次元形状の学習安定性と性能にどのように影響するか？
• RQ5 フレーム場の特異点に対してこの手法はどれほど頑健か？ また、これらの領域付近でも正確性を維持できるか？

主な発見

• PFCNNは、N=8でShapeNet-13分類ベンチマークで93.35％の精度を達成し、原始的な入力信号のみを用いた先行の表面ベースCNNを上回った。
• N=4では、精度（92.45％）と計算コスト（1回の順伝播あたり183.91ms）の良好なトレードオフを達成しており、実用的用途に適している。
• 変形可能な領域では、インスタンス正規化（IN）がバッチ正規化（BN）を常に上回った。これは、形状幾何のドメイン固有の統計的変動のためと考えられる。
• フレーム場の特異点に対して本手法は頑健である：特異点頂点は高い予測誤差と相関しなく、特異点部の登録精度は93.4％（元のメッシュ）および90.2％（リメッシュ後）であり、特異点付近でも安定した性能を示した。
• アブレーションスタディにより、フレーム場の整列とN被覆空間の構築の両方が不可欠であることが確認された。いずれかを除去すると性能が著しく低下した。
• PFCNNは、剛体なドメインにおける意味的シーンセグメンテーションおよび形状登録タスクで最先端の結果を達成し、幾何的ドメイン全体にわたる一般化能力を示した。