[論文レビュー] PRIN/SPRIN: On Extracting Point-wise Rotation Invariant Features

Yang You, Yujing Lou+6 more|arXiv (Cornell University)|Feb 24, 2021

3D Shape Modeling and Analysis参考文献 47被引用数 4

ひとこと要約

本稿では、密度に配慮した自己適応的サンプリング、球面ボクセル畳み込み、および点再サンプリングを用いて、データ拡張なしで回転不変特徴を抽出する、3次元点群解析のための新規なポイントワイズ回転不変ネットワークPRIN/SPRINを提案する。SPRINは、回転させたShapeNetおよびModelNet40データセットにおいて、先行手法を上回る最先端の性能を達成する。

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Point-wise Rotation Invariant Network, focusing on rotation invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. Spherical Voxel Convolution and Point Re-sampling are proposed to extract rotation invariant features for each point. In addition, we extend PRIN to a sparse version called SPRIN, which directly operates on sparse point clouds. Both PRIN and SPRIN can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. Results show that, on the dataset with randomly rotated point clouds, SPRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide thorough theoretical proof and analysis for point-wise rotation invariance achieved by our methods. Our code is available on https://github.com/qq456cvb/SPRIN.

研究の動機と目的

• 任意の回転下における点群解析の課題に取り組むこと。既存手法は、ポーズの事前知識や広範なデータ拡張がなければ機能しない。
• スパースで任意に回転された点群から直接、ポイントワイズの回転不変特徴を抽出できるディープラーニングフレームワークを設計すること。
• PRINおよびSPRINの両者に対して、特定の条件の下でポイントワイズの回転不変性を理論的に証明することで、理論的厳密性を確保すること。
• 中間のグリッド変換なしに、生の点群に直接処理を行うスパース版（SPRIN）へのフレームワークの拡張。
• 分類、パーツセグメンテーション、3次元特徴マッチング、ラベルアライメントといった多様なタスクへの広範な適用可能性を示すこと。

提案手法

• 球面空間における非一様な点分布に起因するバイアスを低減するため、球面信号を構築するための密度に配慮した自己適応的サンプリング（DAAS）を提案する。
• 幾何的構造を保持し、凹面特徴を捉えることができる、球面ボクセルグリッド上の回転等長畳み込み（SVC）を導入する。
• 球面ボクセル表現からのポイントごとの特徴を抽出するために、ポイント再サンプリングモジュールを採用し、入力点と出力点の1対1対応を可能にする。
• PRINをスパース版に拡張し、SPRINを構築。入力点をディラックデルタ関数として扱い、z軸回転の左コセット上に回転不変フィルタを適用する。
• SPRINにおいて、相関特徴と三角形インヴァリエントを用いて、特徴のロバスト性を向上させる回転不変表現を導入する。
• 定義されたフィルタおよびサンプリング条件の下で、PRINおよびSPRINの両者に対して、ポイントワイズの回転不変性の厳密な理論的証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、データ拡張なしで、任意に回転された点群からポイントワイズの回転不変特徴を抽出できるか？
• RQ2 球面ボクセル畳み込みは、非凸および凹面の3次元形状を扱いながらも、どのように回転不変性を維持できるか？
• RQ3 スパースで非一様な点群から球面信号を構築する際、どのサンプリング戦略がバイアスを最小限に抑えるか？
• RQ4 スパース版SPRINは、密度が低い点群において、密度版PRINと比較してどの程度の性能を維持するか？
• RQ5 提案されたフレームワークは、分類、セグメンテーション、特徴マッチング、ラベルアライメントといった多様な3次元タスクに一般化可能か？

主な発見

• SPRINは、回転させたShapeNetパーツデータセットで92.08%の精度と82.67%のmIoUを達成し、データ拡張なしで最先端の手法を上回る。
• DAASを用いたPRINは、同じデータセットで85.99%の精度と71.20%のmIoUを達成し、帯域幅を4から32に増加させた際、精度が16.04%相対的に向上した。
• DAASサンプリングは、均一サンプリングに比べて精度で2.86%、mIoUで3.73%高い性能を示し、サンプリングバイアス低減の有効性を確認した。
• PRINおよびSPRINの両者が、極端な点密度の低下に対しても高い性能を維持しており、SPRINは256点の状態でも64.17%の精度と51.38%のmIoUを達成した。
• 特徴可視化により、DAASが均一サンプリングよりも回転させた点群間で特徴空間における対応関係をより良く維持していることが確認された。
• アブレーションスタディの結果、SPRINにおける相関特徴と三角形ベース特徴の組み合わせが最良の性能を示し、92.08%の精度と82.67%のmIoUを達成した。