[論文レビュー] Learning Local Neighboring Structure for Robust 3D Shape Representation

Zhongpai Gao, Junchi Yan+4 more|arXiv (Cornell University)|Apr 21, 2020

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、3次元メッシュ表現学習のための局所構造に配慮した非等方的畳み込み演算であるLSA-Convを提案する。この手法は、各頂点の近隣頂点をソフトに再配置するための適応的重み行列を学習し、事前定義された座標系が不要な非等方的フィルタリングを可能にする。本手法は、3次元形状再構成において最先端の性能を達成し、形状対応および単眼3次元顔再構成の下流タスクへも効果的に一般化する。

ABSTRACT

Mesh is a powerful data structure for 3D shapes. Representation learning for 3D meshes is important in many computer vision and graphics applications. The recent success of convolutional neural networks (CNNs) for structured data (e.g., images) suggests the value of adapting insight from CNN for 3D shapes. However, 3D shape data are irregular since each node's neighbors are unordered. Various graph neural networks for 3D shapes have been developed with isotropic filters or predefined local coordinate systems to overcome the node inconsistency on graphs. However, isotropic filters or predefined local coordinate systems limit the representation power. In this paper, we propose a local structure-aware anisotropic convolutional operation (LSA-Conv) that learns adaptive weighting matrices for each node according to the local neighboring structure and performs shared anisotropic filters. In fact, the learnable weighting matrix is similar to the attention matrix in the random synthesizer -- a new Transformer model for natural language processing (NLP). Comprehensive experiments demonstrate that our model produces significant improvement in 3D shape reconstruction compared to state-of-the-art methods.

研究の動機と目的

• 3次元メッシュにおける不規則かつ順序なし近隣構造が、効果的な畳み込み特徴学習を阻害するという課題に対処する。
• 既存のグラフ畳み込みニューラルネットワークにおける等方的フィルターや事前定義された局所座標系の限界を克服する。
• 明示的な順序付けや固定テンプレートが不要な、ノード固有の近隣順序付けを学習することで、高容量かつ適応的な特徴抽出を実現する。
• 微分可能で学習可能な重み付け機構を用いて、局所幾何構造を活用することで、3次元形状再構成の精度を向上させる。
• 3次元形状対応および単眼3次元顔再構成などの下流タスクへの一般化を実証する。

提案手法

• 局所幾何構造に基づいて近隣頂点を再重み付け・ソフト再配置するノード固有の微分可能重み行列を学習する、新しい畳み込み層LSA-Convを提案する。
• 重み行列は、トランスフォーマーにおけるアテンションメカニズムに類似した形で、深層ネットワーク全体のエンドツーエンド学習によって最適化される。
• 再重み付けされた近隣頂点集合に共通の非等方的フィルタを適用し、局所特徴を抽出することで、空間不変性を維持するとともに表現力の向上を図る。
• 固定トポロジーのメッシュと互換性を持つ、畳み込みメッシュオートエンコーダ（LSA-3DMM）にLSA-Convを統合し、3次元形状再構成を実現する。
• SpiralNet や KPConv とは異なり、手動でのスパイラル順序付けやカーネルポイントの割り当てを回避する、学習可能でパラメータ効率の良いメカニズムを採用する。
• COMA や DFAUST のような固定トポロジーを持つ標準的な3次元メッシュデータセットを用い、標準的な最適化手法でエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で構造に配慮した再重み付け機構は、固定または等方的畳み込み演算を上回る3次元メッシュ表現を実現できるか？
• RQ2 事前定義された局所座標系やスパイラル順序付けの必要性を排除することで、不規則な3次元メッシュ上での特徴学習が向上するか？
• RQ3 学習可能な重みによる適応的近隣順序付けは、等方的または固定順序手法と比較して、再構成精度をどの程度向上させるか？
• RQ4 LSA-Convは、3次元形状対応や単眼3次元顔再構成などの下流3次元ビジョンタスクに効果的に一般化できるか？
• RQ5 LSA-3DMMフレームワークにおいて、近隣数（K）は再構成精度とモデル複雑度のトレードオフにどのように影響するか？

主な発見

• LSA-3DMMは、COMA（顔）およびDFAUST（身体）データセットの両方で、COMA や SpiralNet、PCA など既存手法を上回る最先端の3次元形状再構成性能を達成した。
• COMAデータセットでは、LSA-3DMMの再構成誤差は0.212であり、SpiralNetの0.227よりも顕著に低い。これは、学習可能な順序付けが事前定義された順序付けを上回ることを示している。
• DFAUSTデータセットでは、K=5の条件下でLSA-3DMMの再構成誤差は3.869であり、PCA（9.977）、COMA（5.238）、Spiral（5.258）を上回った。これは、小さな近隣サイズでも優れた性能を発揮していることを示している。
• アブレーションスタディの結果、重み行列を削除すると再構成誤差が増加し、構造に配慮した再重み付け機構の必要性が裏付けられた。
• 3次元形状対応タスクでは、LSA-ConvはFAUST-interで平均誤差2.501 cmを達成し、Groueixら（2.878 cm）を15%改善した。
• 単眼3次元顔再構成タスクでは、LSA-Convを搭載したデコーダがAFLW2000-3Dで質的に優れた結果を生成し、実世界の3次元生成タスクにおける有効性を検証した。