[論文レビュー] Geometry Sharing Network for 3D Point Cloud Classification and Segmentation

Mingye Xu, Zhipeng Zhou+1 more|arXiv (Cornell University)|Dec 23, 2019

3D Shape Modeling and Analysis参考文献 30被引用数 6

ひとこと要約

本稿では、幾何変換に対する頑健性を向上させるために、ユークリッド空間および固有値空間における特徴の共同集約を幾何学的類似接続（GSC）モジュールを用いて行う、3次元点群分類およびセグメンテーションモデルであるGeometry Sharing Network（GS-Net）を提案する。固有値グラフを用いて局所幾何が類似する遠く離れた点をグループ化することで、局所的および包括的な構造的特徴を捉え、ModelNet40で93.3%の正確度を達成し、回転および平行移動に対して優れた不変性を示す。

ABSTRACT

In spite of the recent progresses on classifying 3D point cloud with deep CNNs, large geometric transformations like rotation and translation remain challenging problem and harm the final classification performance. To address this challenge, we propose Geometry Sharing Network (GS-Net) which effectively learns point descriptors with holistic context to enhance the robustness to geometric transformations. Compared with previous 3D point CNNs which perform convolution on nearby points, GS-Net can aggregate point features in a more global way. Specially, GS-Net consists of Geometry Similarity Connection (GSC) modules which exploit Eigen-Graph to group distant points with similar and relevant geometric information, and aggregate features from nearest neighbors in both Euclidean space and Eigenvalue space. This design allows GS-Net to efficiently capture both local and holistic geometric features such as symmetry, curvature, convexity and connectivity. Theoretically, we show the nearest neighbors of each point in Eigenvalue space are invariant to rotation and translation. We conduct extensive experiments on public datasets, ModelNet40, ShapeNet Part. Experiments demonstrate that GS-Net achieves the state-of-the-art performances on major datasets, 93.3% on ModelNet40, and are more robust to geometric transformations.

研究の動機と目的

• 回転や平行移動などの大きな幾何変換下でも頑健な3次元点群分類の課題に取り組む。
• 従来の3次元CNNが局所的ユークリッド近傍に依存しており、グローバルな幾何構造を捉えられないという限界を克服する。
• 遠く離れたが局所幾何が類似する点からの包括的構造的手がかりと局所的幾何的文脈を統合することで、特徴表現を向上させる。
• 特徴学習プロセスにおいて構造テンソルと固有値グラフを活用することで、剛体変換に対して不変な手法を開発する。
• 計算効率およびパラメータ効率を維持したまま、標準ベンチマークで最先端の性能を達成する。

提案手法

• ユークリッド空間および固有値空間の両方で近傍点をグループ化することで、局所的およびグローバルな幾何特徴を捉える幾何学的類似接続（GSC）モジュールを提案する。
• 各点の構造テンソルを用いて固有値グラフを構築し、曲率や対称性などの局所的幾何的特性を符号化する。
• 構造テンソルの固有値および固有ベクトルを用いて幾何的類似性を定義し、局所幾何が類似する遠く離れた点をグループ化可能にする。
• ユークリッド空間および固有値空間の近傍に対して畳み込みを実行し、その後特徴を連結または統合して後続タスクに供する。
• 理論的に、固有値空間における最近傍点が回転および平行移動に対して不変であることを証明し、幾何的頑健性を保証する。
• 特徴集約およびマルチスケール処理を用いて、点群分類およびセグメンテーションパイプラインにGSCモジュールを統合し、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間および固有値空間における特徴の共同集約は、3次元点群解析における幾何変換に対する頑健性を向上させ得るか？
• RQ2 構造テンソルに基づく固有値グラフを用いて、局所幾何が類似する遠く離れた点を効果的にグループ化し、グローバルな文脈の捉えを強化できるか？
• RQ3 局所構造テンソルの固有値および固有ベクトルの使用は、回転および平行移動に対して不変性をもたらすか？
• RQ4 局所的およびグローバルな幾何的情報を統合するGSCモジュールは、3次元点群タスクにおいて標準的な局所近傍畳み込みを上回る性能を発揮するか？
• RQ5 GS-Netは、ModelNet40 や ShapeNet Part といった標準ベンチマークで、どの程度性能および頑健性が向上するか？

主な発見

• GS-NetはModelNet40ベンチマークで93.3%の分類正確度を達成し、新たな最先端性能を樹立した。
• 固有値グラフの近傍が幾何変換に対して不変であるため、回転および平行移動に対して優れた頑健性を示した。
• アブレーションスタディの結果、ユークリッド空間および固有値空間からの特徴を組み合わせた場合が最高の正確度（92.9%）を達成し、単一空間の集約を上回った。
• 入力特徴にユークリッド距離および固有値差を追加することで正確度が92.9%に向上したが、固有ベクトル特徴は性能を低下させた。
• GS-Netは競争的な推論速度（126msの前方伝播時間）およびモデルサイズ（6.0MB）を達成し、先行手法と比較して高いパラメータ効率を示した。
• 可視化により、グリーンの点（固有値空間における近傍）が、ユークリッド空間では遠く離れていても、アーキテクチャの基準点と幾何的に類似していることが確認された。