[論文レビュー] RGCNN: Regularized Graph CNN for Point Cloud Segmentation

Gusi Te, Wei Hu+2 more|arXiv (Cornell University)|Jun 8, 2018

3D Shape Modeling and Analysis参考文献 23被引用数 90

ひとこと要約

RGCNNは不規則な3D点群を直接処理し、動的に更新されるグラフラプラシアンとグラフ信号の平滑性の前提を用いてセグメンテーションと分類を競争力のある精度と改善された頑健性で実行する。

ABSTRACT

Point cloud, an efficient 3D object representation, has become popular with the development of depth sensing and 3D laser scanning techniques. It has attracted attention in various applications such as 3D tele-presence, navigation for unmanned vehicles and heritage reconstruction. The understanding of point clouds, such as point cloud segmentation, is crucial in exploiting the informative value of point clouds for such applications. Due to the irregularity of the data format, previous deep learning works often convert point clouds to regular 3D voxel grids or collections of images before feeding them into neural networks, which leads to voluminous data and quantization artifacts. In this paper, we instead propose a regularized graph convolutional neural network (RGCNN) that directly consumes point clouds. Leveraging on spectral graph theory, we treat features of points in a point cloud as signals on graph, and define the convolution over graph by Chebyshev polynomial approximation. In particular, we update the graph Laplacian matrix that describes the connectivity of features in each layer according to the corresponding learned features, which adaptively captures the structure of dynamic graphs. Further, we deploy a graph-signal smoothness prior in the loss function, thus regularizing the learning process. Experimental results on the ShapeNet part dataset show that the proposed approach significantly reduces the computational complexity while achieving competitive performance with the state of the art. Also, experiments show RGCNN is much more robust to both noise and point cloud density in comparison with other methods. We further apply RGCNN to point cloud classification and achieve competitive results on ModelNet40 dataset.

研究の動機と目的

• ボクセル化やレンダリングなしで不規則な3D点群への直接学習を動機づける。
• 層をまたいでグラフ構造を更新して動的トポロジーを捉える正則化グラフCNNを提案する。
• 損失にグラフ信号平滑性の前提を導入してラプラシアン平滑化を促進する。
• 計算複雑性を低減しつつノイズ/密度への頑健性を向上させる競争力のあるセグメンテーション性能を示す。
• ModelNet40における点群分類へアーキテクチャを拡張する。

提案手法

• 座標と法線をノード特徴として用い点群をグラフとして表現する。
• エッジ重み a_{i,j}=exp(-β||p_i-p_j||^2) による全結合グラフを構築しグローバルな関係性を捉える。
• 局所フィルタリングのためChebyshev多項式近似を用いたスペクトラルグラフ畳み込みを使用する。
• 特徴によって進化するトポロジーに適応するよう各層でグラフラプラシアンを更新する。
• 損失にグラフ信号平滑性の前提 y^T L y を組み込み、層間でラプラシアン平滑化を促進する。
• 出力が入力点の順序と一致するよう置換不変性の証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化せずに不規則な点群の上で直接グラフ-CNNを動作させることは可能か。
• RQ2 層ごとにグラフラプラシアンを更新することはセグメンテーション性能と頑健性を向上させるか。
• RQ3 グラフ信号平滑性の前提はトポロジ的一貫性を強制することでセグメンテーションを改善するか。
• RQ4 ShapeNet PartでのセグメンテーションおよびModelNet40での分類においてRGCNNは最先端手法と比較してどうか。

主な発見

dataset	mean	aero	bag	cap	car	chair	earphone	guitar	knife	lamp	laptop	motor	mug	pistol	rocket	skateboard	table
ShapeNet	81.4	81.0	78.4	77.7	75.7	87.6	61.9	92.0	85.4	82.5	95.7	70.6	91.9	85.9	53.1	69.8	75.3

• RGCNNはShapeNet PartにおいてPointNet、PointNet++、SynSpecCNNと比較して競争力のある平均IoUを達成。
• 全結合グラフの構築はk-NNグラフよりも性能が良くなる（平均IoUが80.4%でk-NNより高い）。
• ノイズと点密度の低減に対して頑健性を示し、摂動や欠損データに対してベースラインを上回る。
• ModelNet40ではPointNetおよびPointNet++に対して競争力のある分類精度を達成するが、最先端の方法にはわずかに及ばない。
• アーキテクチャは空間・時間の複雑度が良好で、フォワード時間が速くスケーラブルなモデルサイズを示す。