[論文レビュー] Relation-Shape Convolutional Neural Network for Point Cloud Analysis

Yongcheng Liu, Bin Fan+2 more|arXiv (Cornell University)|Apr 16, 2019

3D Shape Modeling and Analysis参考文献 54被引用数 91

ひとこと要約

RS-CNNは、幾何学的な点間の関係から学習することにより、規則的なグリッドCNNを不規則な点群へ拡張し、分類、セグメンテーション、法線推定タスクで最先端の結果を達成します。

ABSTRACT

Point cloud analysis is very challenging, as the shape implied in irregular points is difficult to capture. In this paper, we propose RS-CNN, namely, Relation-Shape Convolutional Neural Network, which extends regular grid CNN to irregular configuration for point cloud analysis. The key to RS-CNN is learning from relation, i.e., the geometric topology constraint among points. Specifically, the convolutional weight for local point set is forced to learn a high-level relation expression from predefined geometric priors, between a sampled point from this point set and the others. In this way, an inductive local representation with explicit reasoning about the spatial layout of points can be obtained, which leads to much shape awareness and robustness. With this convolution as a basic operator, RS-CNN, a hierarchical architecture can be developed to achieve contextual shape-aware learning for point cloud analysis. Extensive experiments on challenging benchmarks across three tasks verify RS-CNN achieves the state of the arts.

研究の動機と目的

• 不規則な点群に対して置換不変性、変換頑健性、形状認識対応表現を確立する。
• セントロイド点とその近傍点間の高レベルな関係を学習する、relation-shape convolution (RS-Conv)の提案。
• 点群に対して文脈的な形状認識学習を可能にする階層型RS-CNNアーキテクチャを構築。
• 分類、セグメンテーション、および法線推定タスク全般で最先端の性能を示す。

提案手法

• 近傍N(x_i)を持つサンプルされたセントロイドx_iの周りに局所的な球状近傍を構築する。
• 従来の各近傍ごとの重みに代えて、h_ijが低レベルの幾何学的事前情報を符号化するrelation-mapping w_ij = M(h_ij)を用いる。
• 変換された近傍特徴を対称関数A（例：max）で集約してf_{P_sub}を得る。
• 高レベル表現のためにf_{P_sub}にチャネルを増幅するMLPを適用。
• 共有重みを用いた3つのスケールの近傍を使用して多尺度の幾何を捉える。
• xyz座標を入力として、分類やセグメンテーションなどのタスクに対してエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 幾何学的関係から学習することで、グリッド型CNNの概念を不規則な点群へどのように拡張できるか。
• RQ2 relation-shape convolutionは、形状認識表現を提供しつつ、置換不変性と剛性変換への頑健性を提供しうるか。
• RQ3 分類、セグメンテーション、および法線推定タスクにおけるRS-CNNの性能は、最先端手法と比較してどうか。

主な発見

• xyz入力（1k点）でのModelNet40における精度は93.6%を達成、10回の voting後。
• RS-CNNはModelNet40分類でPointNet++の誤差を31.2%低減。
• ShapeNet部位セグメンテーションで、クラスmIoUが84.0%、インスタンスmIoUが86.2%を達成。
• ModelNet40での法線推定におけるRS-CNNの報告誤差は0.15で、PointNet++の0.29より著しく良い。
• RS-CNNはサンプリング密度と幾何学的摂動に対して頑健性を示し、入力点が減少した場合でも競争力のある性能を維持。