[論文レビュー] Interpolated Convolutional Networks for 3D Point Cloud Understanding

Jiageng Mao, Xiaogang Wang+1 more|arXiv (Cornell University)|Aug 13, 2019

3D Shape Modeling and Analysis参考文献 49被引用数 30

ひとこと要約

本稿では、補間関数を用いて特徴を離散的なカーネル重み座標に補間することで、不規則でスパースで順序のない点群を直接処理できる新しい補間畳み込み操作、InterpConvを提案する。この手法は、ModelNet40、ShapeNet Parts、S3DISベンチマークで最先端の性能を達成し、スパarsityや順序の変化に対して不変性を示しながら、計算効率を維持している。

ABSTRACT

Point cloud is an important type of 3D representation. However, directly applying convolutions on point clouds is challenging due to the sparse, irregular and unordered data structure. In this paper, we propose a novel Interpolated Convolution operation, InterpConv, to tackle the point cloud feature learning and understanding problem. The key idea is to utilize a set of discrete kernel weights and interpolate point features to neighboring kernel-weight coordinates by an interpolation function for convolution. A normalization term is introduced to handle neighborhoods of different sparsity levels. Our InterpConv is shown to be permutation and sparsity invariant, and can directly handle irregular inputs. We further design Interpolated Convolutional Neural Networks (InterpCNNs) based on InterpConv layers to handle point cloud recognition tasks including shape classification, object part segmentation and indoor scene semantic parsing. Experiments show that the networks can capture both fine-grained local structures and global shape context information effectively. The proposed approach achieves state-of-the-art performance on public benchmarks including ModelNet40, ShapeNet Parts and S3DIS.

研究の動機と目的

• 不規則でスパースで順序のない3次元点群に標準的な畳み込みを適用する課題に対処すること。
• ボクセルベースの3次元畳み込み（情報損失、高コスト）およびグラフベースの手法（スパarsityに敏感、不安定なカーネル学習）の限界を克服すること。
• 点群特徴と離散的カーネル重みの間の微分可能で明示的な幾何的関係モデリング機構を設計すること。
• 3次元認識およびセグメンテーションタスクに活用できる、InterpConvを活用する新しいニューラルネットワークアーキテクチャ、InterpCNNを構築すること。
• 効率性と不変性を維持しながら、標準的な3次元点群ベンチマークで最先端の性能を達成すること。

提案手法

• InterpConvは、固定された3次元座標を持つ空間的に離散的なカーネル重みを用い、入力点群特徴を隣接するカーネル重み位置に補間関数（例：三線形補間やガウス補間）を用いてマッピングする。
• スパarsity不変性を確保するため、近隣点の数または補間重みの合計に基づいた正規化項を導入する。
• 補間を介した幾何的関係の明示的モデリングにより、グラフベース手法でMLPが学習する連続的カーネル関数の必要性を回避する。
• 多層・多受容 field のInterpConvブロックを組み合わせることで、局所的な幾何的詳細とグローバルな形状コンテキストの両方を捉えるInterpCNNを構築する。
• カーネル重みは3次元空間で固定され、特徴の補間は微分可能であるため、エンドツーエンドの学習が可能である。
• ラスタライゼーションやグラフ構築を経ずに、不規則な入力を直接処理することで、幾何的忠実性を保持する。

実験結果

リサーチクエスチョン

• RQ1 補間ベースの特徴集約を用いる離散的畳み込みは、不規則な点群において、連続的カーネル関数を用いるグラフネットワークを上回ることができるか？
• RQ2 畳み込み層をどのように設計すれば、点群のスパarsityや順序の変化に対して不変でありながらも、幾何的構造を保持できるか？
• RQ3 明示的なカーネル座標を用いた補間ベースの特徴集約は、ボクセライゼーションやグラフベース手法よりも優れた性能を発揮するか？
• RQ4 セグメンテーションおよび分類タスクにおいて、局所的詳細とグローバルコンテキストの両方を適切に捉えるために、どの補間関数（三線形 vs. ガウス）が最適か？
• RQ5 カーネルサイズと長さは、点群理解における性能とモデル効率にどのように影響を与えるか？

主な発見

• InterpCNNはModelNet40で93.0%の精度を達成し、PointNet++（90.7%）やDGCNN（92.2%）を上回り、同等または少ないパラメータ数で実現した。
• 本手法はShapeNet Parts（三線形補間を用いた場合86.3%の精度）およびS3DISでも最先端の性能を達成し、優れた一般化性能を示した。
• $3\times3\times3$のInterpConvカーネルを用いることで最適な性能が得られ、$5\times5\times5$の大きなカーネルでは改善がなく、パラメータ数が増加した。
• カーネル長さ$l$は性能に顕著な影響を与え、最適値は0.1〜0.4の範囲にあり、小さすぎたり大きすぎたりすると精度が低下した。
• 三線形補間は、微細な幾何的構造をよりよく捉えるため、セグメンテーションタスクでガウス補間を上回った。
• 補間重みの合計に基づく正規化は、極端なスパarsity状況でもより頑健であったが、全体的には両正規化手法の性能は同等に近かった。