[論文レビュー] FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis

Nitika Verma, Edmond Boyer+1 more|arXiv (Cornell University)|Jun 16, 2017

3D Shape Modeling and Analysis参考文献 32被引用数 12

ひとこと要約

FeaStNetは、前の層からの特徴に基づいてフィルタ重みを動的に制御する新しいグラフ畳み込みニューラルネットワークを提案する。固定座標や設計された記述子に依存しない。原始的な座標から直接局所形状表現を学習できるため、3次元形状対応（FAUSTベンチマーク）で最先端の性能を達成し、部品ラベル付け（ShapeNet）でも競争力のある結果を示した。

ABSTRACT

Convolutional neural networks (CNNs) have massively impacted visual recognition in 2D images, and are now ubiquitous in state-of-the-art approaches. CNNs do not easily extend, however, to data that are not represented by regular grids, such as 3D shape meshes or other graph-structured data, to which traditional local convolution operators do not directly apply. To address this problem, we propose a novel graph-convolution operator to establish correspondences between filter weights and graph neighborhoods with arbitrary connectivity. The key novelty of our approach is that these correspondences are dynamically computed from features learned by the network, rather than relying on predefined static coordinates over the graph as in previous work. We obtain excellent experimental results that significantly improve over previous state-of-the-art shape correspondence results. This shows that our approach can learn effective shape representations from raw input coordinates, without relying on shape descriptors.

研究の動機と目的

• 規則的なグリッド構造を持たない不規則な3次元メッシュデータにCNNを適用する課題に対処すること。
• 固定された擬似座標やスペクトル分解に依存する既存のグラフ畳み込み手法の限界を克服すること。
• 事前計算された形状記述子を用いずに、原始的な3次元座標から効果的な局所形状表現を学習すること。
• 多様な3次元形状に一般化できる動的で特徴に適応する畳み込みメカニズムを開発すること。

提案手法

• フィルタ重みが固定座標ではなく、前の層からの特徴に基づいて決定される動的グラフ畳み込み演算子を提案する。
• 特徴からフィルタ重み行列への可学習変換（MLP）を用い、適応的な近隣集約を可能にする。
• スケールを複数用いたアーキテクチャとスキップ接続を採用し、異なる受容 field をカバーする特徴学習を強化する。
• ポイントクラウドデータに適応するため、k-近傍近傍グラフを用いる。
• 対応関係と部品ラベル付けタスクの両方に対して、交差エントロピー損失を用いてエンドツーエンドで学習する。
• 座標ノイズ（最大0.2まで）を用いたデータ拡張により、ロバストネスと一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みニューラルネットワークは、設計された記述子を一切使用せず、原始的な3次元座標から効果的な局所形状表現を学習できるか？
• RQ2 学習済み特徴に基づく動的フィルタ重み付けは、固定座標に基づく手法に比べて3次元形状解析でどのように優れているか？
• RQ3 特徴駆動型グラフ畳み込みは、トポロジーとポーズが異なる多様な3次元形状に一般化できるか？
• RQ4 このようなモデルは、3次元形状対応および部品ラベル付けタスクでどれほど最先端の性能を達成できるか？

主な発見

• FeaStNetはFAUSTベンチマークで93.7%の対応精度を達成し、従来の最先端手法を顕著に上回った。
• ノイズが加わった入力に対しても一般化性能が高く、座標ノイズのレベルが0.2までに耐性がある。
• ShapeNet部品ラベル付けベンチマークでは、mIoUが81.5%を達成し、PointNet や Kd-network などの最先端手法と同等の性能を示した。
• 特徴の可視化から、深層部で学習済み特徴がよりポーズ不変的かつ局所化されていることが示され、有効な形状表現学習が行われていることがわかった。
• ポイントクラウドから構築されたk-近傍近傍グラフに対しても良好な性能を示し、メッシュでないデータへの直接適用可能性を実証した。
• 部品ラベル付けの失敗事例は主に特徴のない形状や曖昧な部品境界に起因しており、モデルの能力不足ではなく境界定義の限界が原因であると考えられる。