[論文レビュー] Spatial Transformer for 3D Points.

Jiayun Wang, Rudrasis Chakraborty+1 more|arXiv (Cornell University)|Jun 26, 2019

3D Shape Modeling and Analysis参考文献 27被引用数 7

ひとこと要約

本稿では、3次元点群における非剛性変換（アフィンおよび非線形（射影／変形可能））を各ネットワーク層で学習することで、局所的近傍を動的に再構成する空間変換器モジュールを提案する。動的点座標変換を学習することにより、特徴学習を向上させ、3次元点群分類、セグメンテーション、検出タスクで最先端の性能を達成する。

ABSTRACT

Point cloud is an efficient representation of 3D data, and enables deep neural networks to effectively understand and model the 3D visual world. Previous point cloud processing networks utilized the same original 3D point coordinates at different layers to define local neighborhoods. The networks then learn the feature maps from local patches. It is easy to implement but not necessarily optimal. Ideally local neighborhood should be different at different layers so as to adapt to the specific layer for efficient feature learning. One way to achieve this is to learn transformations of the original point cloud at each layer, and then learn the feature maps from the ``local patches'' on the transformed coordinates. In this work, we propose a novel approach to learn non-rigid transformation of input point clouds at each layer. We propose both linear (affine) and non-linear (projective, deformable) spatial transformer on 3D point cloud. The proposed method outperforms the state-of-the-art static point neighborhood counterparts in several point cloud processing tasks (classification, segmentation and detection).

研究の動機と目的

• 最適な特徴学習を妨げる固定された静的局所近傍の制限を解消すること。
• 入力点座標を動的に変換することで、深層ネットワークが層固有の適応的局所受容野を学習できるようにすること。
• 学習された空間変換を通じて、分類、セグメンテーション、検出などの3次元視覚タスクにおける性能を向上させること。
• 3次元点群に特化した線形（アフィン）および非線形（射影、変形可能）変換モジュールを導入すること。
• 学習された空間変換が3次元点群処理において静的近傍定義を上回ることを示すこと。

提案手法

• 各ネットワーク層における3次元空間内の各点または局所領域に対して変換行列を学習する空間変換器モジュールを提案する。
• 微分可能空間変換を入力点座標に適用し、変換ネットワークのエンドツーエンド学習を可能にする。
• 複雑な空間変形をモデル化するため、アフィンおよび非線形（射影および変形可能）変換部を導入する。
• 変換された座標を用いて動的局所近傍を定義し、その後、標準的な3次元畳み込みまたはアテンションメカニズムを用いて特徴を抽出する。
• 勾配の流れを保証するため、微分可能サンプリングおよび特徴集約メカニズムを採用する。
• 空間変換器を3次元ディープラーニングアーキテクチャ内に学習可能なモジュールとして統合し、固定近傍定義の代わりに置き換える。

実験結果

リサーチクエスチョン

• RQ1 固定された局所近傍と比較して、動的で層固有の空間変換を学習することで、3次元点群特徴学習が向上するか？
• RQ2 3次元点群タスクにおけるアフィン変換と非線形変換（射影／変形可能）の性能はどのように比較されるか？
• RQ3 提案された空間変換器モジュールは、分類、セグメンテーション、検出などの多様な3次元認識タスクに一般化するか？
• RQ4 局所近傍の適応的再構成が、標準ベンチマーク上でのモデル性能をどの程度向上させるか？
• RQ5 空間変換器は、微分可能性と計算効率を維持しながら、エンドツーエンドで効果的に学習可能か？

主な発見

• 提案された空間変換器は、3次元点群分類、セグメンテーション、検出タスクにおいて、固定された局所近傍に依存する最先端手法を上回る性能を達成する。
• 非線形変換（射影および変形可能）の使用は、アフィンおよび静的ベースライン手法と比較して顕著な性能向上をもたらす。
• 座標変換を通じて層固有の適応的局所近傍を学習することにより、特徴表現が向上する。
• 複数の3次元視覚ベンチマークで一貫した向上を示し、強力な一般化能力を示している。
• 空間変換器の微分可能性により、安定な勾配と効果的な最適化を伴うエンドツーエンド学習が可能である。