[論文レビュー] Generalizing Discrete Convolutions for Unstructured Point Clouds

Alexandre Boulch|arXiv (Cornell University)|Jan 1, 2019

3D Surveying and Cultural Heritage被引用数 9

ひとこと要約

本論文では、離散カーネルを連続カーネルに置き換えることで、ボクセル化を伴わずに疎で不規則な点群データを直接処理できる連続畳み込みニューラルネットワークを提案する。この手法は、大規模点群における形状分類、パーツセグメンテーション、セマンティックセグメンテーションのタスクで最先端の性能を達成する。

ABSTRACT

Point clouds are unstructured and unordered data, as opposed to images. Thus, most of machine learning approaches, developed for images, cannot be directly transferred to point clouds. It usually requires data transformation such as voxelization, inducing a possible loss of information. In this paper, we propose a generalization of the discrete convolutional neural networks (CNNs) able to deal with sparse input point cloud. We replace the discrete kernels by continuous ones. The formulation is simple, does not set the input point cloud size and can easily be used for neural network design similarly to 2D CNNs. We present experimental results, competitive with the state of the art, on shape classification, part segmentation and semantic segmentation for large scale clouds.

研究の動機と目的

• 非構造的かつ順序のない点群データに、従来の2次元畳み込みニューラルネットワーク（CNN）を適用する課題に対処すること。
• 情報損失を引き起こす可能性がある、ボクセル化などのデータ変換手法の限界を克服すること。
• 連続カーネルを用いて、スパarsな点群に直接作用する離散畳み込みの一般化を構築すること。
• 2次元CNNと同様のシンプルさと有効性を備えた、点群向けのニューラルネットワーク設計を可能にすること。
• 分類およびセグメンテーションタスクにおける大規模点群ベンチマークで、競争力のある性能を達成すること。

提案手法

• 離散カーネルの代わりに、連続的な空間領域上で作用する連続カーネルに、従来の離散畳み込みカーネルを置き換える。
• グリッドベースの離散化を回避するため、点群座標の積分演算を用いて畳み込みを定式化する。
• カーネル関数を空間オフセットの連続関数として定義することで、任意の点分布に対して微分可能かつ柔軟な操作を可能にする。
• 固定された入力次元や前処理を必要とせず、可変サイズの点群を処理できるようにネットワークを設計する。
• 局所的近傍における特徴集約を、連続的に微分可能なサンプリング戦略を用いて計算する。
• 標準的な2次元CNNと類似した深層学習アーキテクチャに連続畳み込み層を統合し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ボクセル化やグリッドベースのサンプリングに依存せずに、非構造的点群に対して連続畳み込み操作を効果的に定式化できるか？
• RQ2 提案手法の連続畳み込み法は、従来の離散的またはボクセル化されたアプローチと比較して、性能および効率の面で優れているか？
• RQ3 提案手法は、形状分類、パーツセグメンテーション、セマンティックセグメンテーションといった多様な点群タスクに、どの程度一般化可能か？
• RQ4 連続カーネル定式化は、離散的代替手法と比較して、細かな幾何的詳細をよりよく保持できるか？
• RQ5 最小限のアーキテクチャ的変更で、標準的な深層学習パイプラインにスムーズに統合できるか？

主な発見

• 提案された連続畳み込み手法は、大規模点群ベンチマークで競争力のある性能を達成し、最先端の結果と同等またはそれを上回る。
• ボクセル化の必要がなくなるため、グリッド表現で失われる幾何的詳細を保存できる。
• 入力のパディングや固定解像度制約が不要なため、可変サイズの点群をサポートするアーキテクチャを実現できる。
• 最小限の前処理でスパarsな点群を直接処理できるため、ネットワーク設計パイプラインが簡素化される。
• 形状分類、パーツセグメンテーション、セマンティックセグメンテーションを含む、複数の点群タスクに強く一般化する。
• 連続カーネル定式化により、不規則なデータ構造上で微分可能かつスケーラブルな特徴学習が可能になる。