[論文レビュー] Pointwise Rotation-Invariant Network with Adaptive Sampling and 3D Spherical Voxel Convolution

Yang You, Yujing Lou+5 more|arXiv (Cornell University)|Nov 23, 2018

3D Shape Modeling and Analysis参考文献 37被引用数 18

ひとこと要約

本稿では、ポーズの事前情報が不要な3次元点群上で回転等変換性特徴抽出を可能にする点群回転不変ネットワークPRINを提案する。密度に配慮した適応的サンプリング、球面ボクセル畳み込み、およびポイント再サンプリングを組み合わせることで、任意の回転下でも形状分類、部品セグメンテーション、3次元特徴マッチングの分野で最先端の性能を達成し、データ拡張を用いない既存手法を上回る。

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Pointwise Rotation-Invariant Network, focusing on rotation-invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. In addition, we propose Spherical Voxel Convolution and Point Re-sampling to extract rotation-invariant features for each point. Our network can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. We show that, on the dataset with randomly rotated point clouds, PRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide theoretical analysis for the rotation-invariance achieved by our methods.

研究の動機と目的

• 任意の回転下での点群解析の課題に取り組み、既存手法がポーズの事前情報なしでは失敗する状況を解消すること。
• 回転不変性を達成するためのデータ拡張に依存することを排除し、計算コストを低減すること。
• 元の回転された点群から直接、エンドツーエンドで回転不変特徴を学習可能にすること。
• 部品セグメンテーションなどの密度予測タスクにおいて、入力と出力の1対1ポイント対応を維持すること。
• 3次元特徴マッチングや回転に頑健なラベルアライメントを含む、多様な応用を可能にすること。

提案手法

• 密度に配慮した適応的サンプリング（DAAS）は、非一様な点密度に対応するため、sin(β)による重み付けを施しながら、スパースな点群を球面ボクセルグリッドにマップする。これにより幾何的忠実性が保持される。
• 球面ボクセル畳み込み（SVC）は、SO(3) 上のハール測度に基づく回転不変フィルタ操作を用いて、球面ボクセルグリッド上で3次元畳み込みを実行する。
• ポイント再サンプリングは、球面ボクセル表現からポイント単位の特徴を再構築し、回転不変性を維持したままポイントワイドな予測を可能にする。
• ネットワークアーキテクチャは、球面ボクセル特徴とグローバルマックスプールングを統合し、分類に用いられ、同時にポイント単位ヘッドを用いてセグメンテーションを実現する。
• 理論的分析により、SO(3) 上でのハール測度不変性を介して回転不変性が保証され、あらゆる方向で一貫した特徴学習が可能であることが確認された。
• フレームワークは、共有の回転不変特徴を用いて、グローバルおよびローカルタスク（3次元ポイントマッチングやラベルアライメント含む）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、標準的な方向やデータ拡張を必要とせず、3次元点群から直接回転不変特徴を学習可能か？
• RQ2 スパースな点群における非一様な点分布に対して、球面ボクセル化をどのようにして頑健に実現できるか？
• RQ3 密度に配慮したサンプリングと球面畳み込みが、特徴学習における回転不変性をどのように維持するか？
• RQ4 提案手法は、分類、部品セグメンテーション、任意の回転下での3次元マッチングといった多様な3次元タスクに一般化可能か？
• RQ5 球面畳み込み操作の理論的不変性は、ベンチマークデータセットにおける実験的性能とどのように関連しているか？

主な発見

• PRINは、データ拡張を一切用いずに、ShapeNet部品データセットおよびModelNet40で最先端の性能を達成し、既存の回転不変手法を上回った。
• 回転された点群においても、部品セグメンテーションおよび分類タスクで高い精度を維持し、任意の方向に対する頑健性を示した。
• 3次元特徴マッチングおよびラベルアライメントにおいても優れた結果を達成し、多様な3次元ビジョンタスクへの一般化能力を確認した。
• 理論的分析により、球面畳み込み操作がSO(3)回転に対して不変であることが確認され、実験的頑健性の裏付けが得られた。
• 失敗事例から、極端な凹型や非常にスパースな領域の処理に限界があることが判明し、サンプリングおよび特徴集約の改善の余地が示唆された。