[論文レビュー] Deep Positional and Relational Feature Learning for Rotation-Invariant Point Cloud Analysis

Ruixuan Yu, Xin Wei+2 more|arXiv (Cornell University)|Nov 18, 2020

3D Shape Modeling and Analysis参考文献 41被引用数 4

ひとこと要約

本稿では、3次元点群解析のための回転不変な深層ネットワーク、PR-invNetを提案する。本手法は、2つの新規モジュール、位置特徴埋め込み（PFE）ブロックと関係特徴埋め込み（RFE）ブロックを用いて、位置的および関係的特徴を同時に学習する。PFEブロックは、ドデカヘドロンの交代群 $A_5$ を用いたポーズ拡張器により回転不変なポーズ空間を生成し、複数のヘッドを持つスコアネットワーク $\Psi$ を用いて最も判別性の高い形状ポーズを選択する。一方、RFEブロックは関係に敏感な畳み込みを用いて特徴を強化する。本手法はModelNet40およびShapeNetPartで最先端の性能を達成し、ModelNet40では89.2%、PartNetでは89.5%の精度を示し、回転およびノイズに対して高い耐性を示す。

ABSTRACT

In this paper we propose a rotation-invariant deep network for point clouds analysis. Point-based deep networks are commonly designed to recognize roughly aligned 3D shapes based on point coordinates, but suffer from performance drops with shape rotations. Some geometric features, e.g., distances and angles of points as inputs of network, are rotation-invariant but lose positional information of points. In this work, we propose a novel deep network for point clouds by incorporating positional information of points as inputs while yielding rotation-invariance. The network is hierarchical and relies on two modules: a positional feature embedding block and a relational feature embedding block. Both modules and the whole network are proven to be rotation-invariant when processing point clouds as input. Experiments show state-of-the-art classification and segmentation performances on benchmark datasets, and ablation studies demonstrate effectiveness of the network design.

研究の動機と目的

• 生の座標に依存する既存の点ベースの深層ネットワークが任意の3次元回転に対して感受性を示す問題に対処すること。
• 3次元点群の深層特徴学習において、判別性の高い位置情報の保持と、きめ細やかな回転不変性の両立を図ること。
• 位置的および関係的特徴を統合した階層的ネットワークアーキテクチャを設計し、3次元形状認識の向上を図ること。
• 空間的文脈を失い、類似した局所構造を区別できない幾何特徴のみに依存するアプローチの限界を克服すること。
• 高価なデータオーグメンテーションを回避し、ノイズや未知の回転に対しても一般化性能が高く、スケーラブルで効率的な回転不変ネットワークを開発すること。

提案手法

• PFEブロックは、ドデカヘドロンの交代群 $A_5$ を用いて回転不変なポーズ空間を構築し、入力点群を120の回転ポーズにマッピングする。
• 複数ヘッドスコアネットワーク ($\Psi$) が、回転空間内での最大スコアに基づき、最も代表的なポーズをポーズセレクタとして選択する。
• 選択されたポーズの座標を用いて、位置特徴抽出器により位置特徴を抽出し、局所幾何の判別性の高い表現を保証する。
• RFEブロックは、相対的な点位置、幾何特徴（例：距離、角度）、点特徴の3つの要素を用いた関係に敏感な畳み込みを実装し、学習可能な重みを有する。
• PFEおよびRFEブロックを含むすべてのネットワーク部品が、SO(3)群の下で回転不変であることが数学的に証明されている。
• PR-invNetは、標準ベンチマークを用いて、分類およびセグメンテーションタスクをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに依存せずに、生の点座標から回転不変特徴を学習できるか？
• RQ2 任意の3次元回転に対して不変性を達成しつつ、位置情報をどのように保持できるか？
• RQ3 回転不変特徴学習フレームワークにおいて、複数ヘッドスコアネットワーク $\Psi$ のポーズ選択が果たす役割は何か？
• RQ4 点の位置および幾何的関係に基づく関係特徴は、幾何特徴のみに比べて性能にどのように寄与するか？
• RQ5 提案アーキテクチャは、ノイズおよび任意の回転に対してどの程度耐性を示すか？

主な発見

• PR-invNetはModelNet40で89.2%の分類精度を達成し、z/SO(3)回転モード下で先行研究を上回った。
• アブレーションスタディにより、ポーズ選択を伴うPFEブロック全体が、最大または平均プーリングによる特徴集約よりも優れており、GPUメモリを58%削減、処理時間を49%短縮しながら88.5%の精度を達成した。
• 200ヘッドの多ヘッドスコアネットワーク $\Psi$ が、単一ヘッドや他のヘッド構成よりも高い精度を示し、ポーズ選択能力の向上を裏付けた。
• 位置、幾何、特徴の3要素をすべて有するRFEブロックが最良の性能を示し、いずれかの要素を除去すると精度が低下した。
• ガウスノイズ（標準偏差 = 0.01）下でも88.6%の精度を維持し、摂動を加えた入力に対しても強い一般化性能を示した。
• 可視化により、多ヘッドスコアネットワークの各ヘッドが類似した方向性を持つポーズを選択していることが示され、ネットワークが形状を意味のあるポーズグループにクラスタリングしていることが示唆された。