[論文レビュー] VV-Net: Voxel VAE Net with Group Convolutions for Point Cloud Segmentation

Hsien-Yu Meng, Lin Gao+2 more|arXiv (Cornell University)|Nov 11, 2018

3D Shape Modeling and Analysis参考文献 31被引用数 42

ひとこと要約

VV-Net はボクセルグリッド内にラジアル基底関数補間を用いた VAEとグループ等変性を持つ3D畳み込みを導入し、点群セグメンテーションを改善する。ShapeNet と S3DIS で最先端の結果を達成。

ABSTRACT

We present a novel algorithm for point cloud segmentation. Our approach transforms unstructured point clouds into regular voxel grids, and further uses a kernel-based interpolated variational autoencoder (VAE) architecture to encode the local geometry within each voxel. Traditionally, the voxel representation only comprises Boolean occupancy information which fails to capture the sparsely distributed points within voxels in a compact manner. In order to handle sparse distributions of points, we further employ radial basis functions (RBF) to compute a local, continuous representation within each voxel. Our approach results in a good volumetric representation that effectively tackles noisy point cloud datasets and is more robust for learning. Moreover, we further introduce group equivariant CNN to 3D, by defining the convolution operator on a symmetry group acting on $\mathbb{Z}^3$ and its isomorphic sets. This improves the expressive capacity without increasing parameters, leading to more robust segmentation results. We highlight the performance on standard benchmarks and show that our approach outperforms state-of-the-art segmentation algorithms on the ShapeNet and S3DIS datasets.

研究の動機と目的

• 未構造な点を規則的なボクセルグリッドへ変換することによって、頑健な点群セグメンテーションを動機づける。
• RBFベースの補間と事前訓練済みVAEを用いてボクセル内の点分布をエンコードし、コンパクトな潜在表現を取得する。
• パラメータを増やすことなく、3Dにおけるグループ同変性畳み込みを組み込み、固有の対称性を捉える。
• ShapeNet部品セグメンテーションとS3DIS意味セグメンテーションデータセットで性能の向上を示す。

提案手法

• 点群をボクセルグリッドに変換し、ボクセルをk×k×kのサブボクセルで細分化する。
• ラジアル基底関数を用いてサブボクセルごとの値を計算し、滑らかな局所表現を得る。
• 事前訓練済みの分散オートエンコーダーを用いてボクセルレベルの分布をエンコードし、潜在的なl次元のボクセル特徴マップを生成する。
• Z^3上で回転対称性と鏡写し対称性を捉えるため、対称群 p4 および p4m 上に定義されたグループ等変畳み込みニューラルネットを適用する。
• 各点のMLP特徴とシリアライズされたボクセル特徴を結合し、点ごとの多クラスセグメンテーションを実行する。
• メモリを管理し収束を改善するため、RBF-VAEモジュールとセグメンテーションネットワークを別々に訓練する。

実験結果

リサーチクエスチョン

• RQ1 連続的で情報量の多いボクセル表現は、占有グリッドよりも疎な点分布をより良く捉えることができるか？
• RQ2 3Dグループ同変畳み込みの導入は、モデルパラメータを増やすことなくセグメンテーション精度を向上させるか？
• RQ3 標準ベンチマーク（ShapeNet、S3DIS）におけるVV-Netの性能は、最先端手法と比べてどうか？
• RQ4 RBFカーネルと他のカーネルのボクセル表現品質への影響はどうか？
• RQ5 欠損または破損した点データに対するVV-Netの頑健性は？

主な発見

• 完全な VV-Net（RBF-VAE とグループ畳み込みを含む）は、ShapeNet 部品セグメンテーションにおいて平均 IoU で最先端手法を 2.7% 上回る。
• S3DIS の意味セグメンテーションでは、VV-Net が従来手法より平均 IoU を 16.12% 向上させる。
• RBF-VAE は、0-1占有が収束しないような疎な点分布でも効果的なボクセル表現を可能にする。
• 3D対称群 p4 および p4m 上のグループ畳み込みは、パラメータ数を増やすことなく性能を著しく向上させる。
• アブレーションでは、RBF-VAE かグループ畳み込みのいずれかを除去すると平均 IoU が低下し、両コンポーネントの重要性を強調する。
• データ欠損に対して頑健性を示し、最大87.5%の点が削除されても精度低下はごくわずかである。