[論文レビュー] Continuous Geodesic Convolutions for Learning on 3D Shapes

Zhangsihao Yang, Or Litany+3 more|arXiv (Cornell University)|Feb 6, 2020

3D Shape Modeling and Analysis参考文献 55被引用数 6

ひとこと要約

本論文は、剛体変換に対する不変性とサンプリングの変動に対するロバスト性を実現するために、学習可能な局所基準枠（LRF）と連続畳み込みカーネルを用いて、生メッシュから直接幾何的記述子を学習する深層学習フレームワークを提案する。この手法は、形状一致および人体部品セグメンテーションタスクにおいて、手作業で作成された記述子を用いた最先端の手法を上回り、変形可能な形状において優れた正確性と一般化性能を示した。

ABSTRACT

The majority of descriptor-based methods for geometric processing of non-rigid shape rely on hand-crafted descriptors. Recently, learning-based techniques have been shown effective, achieving state-of-the-art results in a variety of tasks. Yet, even though these methods can in principle work directly on raw data, most methods still rely on hand-crafted descriptors at the input layer. In this work, we wish to challenge this practice and use a neural network to learn descriptors directly from the raw mesh. To this end, we introduce two modules into our neural architecture. The first is a local reference frame (LRF) used to explicitly make the features invariant to rigid transformations. The second is continuous convolution kernels that provide robustness to sampling. We show the efficacy of our proposed network in learning on raw meshes using two cornerstone tasks: shape matching, and human body parts segmentation. Our results show superior results over baseline methods that use hand-crafted descriptors.

研究の動機と目的

• 手作業で作成された記述子に依存しない3次元形状学習を実現するため、生メッシュデータから直接特徴を学習すること。
• 変形可能な形状解析におけるサンプリングの変動に対するロバスト性および剛体変換に対する不変性を向上させること。
• 手作業で作成された記述子ベースのベースラインを上回るデータ駆動型でエンド・ツー・エンドで訓練可能なアーキテクチャを構築すること。
• 非剛体メッシュにおける幾何的深層学習において、連続畳み込みカーネルと学習可能なLRFの有効性を調査すること。

提案手法

• 特徴を標準的な局所座標系にあわせることで、剛体変換に対する不変性を確保するための学習可能な局所基準枠（LRF）モジュールを導入する。
• 入力の幾何構造に応じて特徴を適応的にサンプリング・集約する連続畳み込みカーネルを採用し、不規則なサンプリングに対するロバスト性を向上させる。
• 局所形状幾何の保存のため、測地的距離、頂点座標、表面法線を入力特徴として使用する。
• 空間的一致性を維持しながら、局所表現を豊かにするために層間で特徴伝搬を適用する。
• 形状一致およびセグメンテーションタスクに特化した損失関数を用いて、ネットワークをエンド・ツー・エンドで訓練する。
• 特徴集約に最も遠い点抽出（FPS）を用いるが、その方法はサンプリング依存性を制限要因として認識している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、手作業で作成された記述子に依存せずに、生メッシュデータから有効な幾何的記述子を直接学習できるか？
• RQ2 学習可能な局所基準枠（LRF）を統合することで、固定された手作業で作成されたLRFと比較して、非剛体形状タスクでの性能はどのように向上するか？
• RQ3 連続畳み込みカーネルは、変形可能な3次元形状におけるサンプリングの変動に対するロバスト性をどの程度向上させるか？
• RQ4 生メッシュ特徴からエンド・ツー・エンドで学習することで、SHOT や測地的パッチといった手作業で作成された記述子を用いた最先端の手法を上回ることができるか？

主な発見

• 提案手法は、人体部品セグメンテーションタスクにおいてFAUSTデータセットで98.30%の正確度を達成し、SHOT記述子を用いたベースライン手法FMNetを上回った。
• 合成FAUST形状一致ベンチマークにおいて、本手法はFMNet、MoNet、GCNNを含む先行の学習ベース手法と比較して測地的誤差を低減した。
• アブレーションスタディの結果、LRF部品を削除すると性能が最も著しく低下（98.30%から95.24%に）し、不変性を維持する上でその重要性が確認された。
• 頂点座標（vij）の導入が最も影響力が大きく、幾何的表現学習に顕著な貢献を示した。
• 連続畳み込みカーネルと特徴伝搬モジュールの両方がロバスト性の向上に寄与しており、前者は局所幾何に応じた動的フィルタ適応を可能にした。