[論文レビュー] SRINet: Learning Strictly Rotation-Invariant Representations for Point Cloud Classification and Segmentation

Xiao Sun, Zhouhui Lian+1 more|arXiv (Cornell University)|Nov 6, 2019

3D Shape Modeling and Analysis参考文献 12被引用数 9

ひとこと要約

SRINet は、データ拡張を用いない 3D ポイントクラウド分類およびセグメンテーションのための厳密な回転不変表現を可能にする、新しいポイントプロジェクション特徴を提案する。ポイントを3つの主軸に投影し、グラフアグリゲーションと学習されたキーポイント記述子を用いた PointNet ベースのバックボーンを採用することで、回転を加えた入力においても最先端の性能を達成した。

ABSTRACT

Point cloud analysis has drawn broader attentions due to its increasing demands in various fields. Despite the impressive performance has been achieved on several databases, researchers neglect the fact that the orientation of those point cloud data is aligned. Varying the orientation of point cloud may lead to the degradation of performance, restricting the capacity of generalizing to real applications where the prior of orientation is often unknown. In this paper, we propose the point projection feature, which is invariant to the rotation of the input point cloud. A novel architecture is designed to mine features of different levels. We adopt a PointNet-based backbone to extract global feature for point cloud, and the graph aggregation operation to perceive local shape structure. Besides, we introduce an efficient key point descriptor to assign each point with different response and help recognize the overall geometry. Mathematical analyses and experimental results demonstrate that the proposed method can extract strictly rotation-invariant representations for point cloud recognition and segmentation without data augmentation, and outperforms other state-of-the-art methods.

研究の動機と目的

• 3D ポイントクラウド解析におけるディープラーニングモデルの限界、特に標準方向に依存するため回転下で性能が低下することを是正すること。
• データ拡張に依存せずに、厳密な回転不変性を持つ表現を構築すること。
• 手動で設計されたキーポイント記述子を用いて、幾何的に顕著な領域に特徴学習を強化すること。
• 分類およびセグメンテーションタスクの両方において、統一されたアーキテクチャでグローバルおよびローカル特徴を抽出すること。
• 中間のボクセル化やビュー基準変換を経由せずに、座標から直接回転不変特徴を学習可能であることを示すこと。

提案手法

• ポイントプロジェクション特徴は、各3次元ポイントを3つの主軸への投影と、中心点からのベクトルのノルムを用いて4次元表現にマッピングし、回転不変性を保証する。
• PointNet ベースのバックボーンが、投影された4次元特徴を処理してグローバルなポイントクラウド表現を抽出する。
• K-近傍点のグラフアグリゲーションを用いて、投影空間における局所的な形状構造を捉える。
• 局所的な法線の変動に基づいて、明確に定義されたキーポイント記述子を用い、コーナーやエッジに高い応答を割り当てる。
• ネットワークは、グローバル特徴とキーポイント応答を要素ごとの和算により統合し、顕著な幾何的構造への感受性を向上させる。
• 分類およびセグメンテーションタスクの両方で同じアーキテクチャを共有し、統一されたフロントエンド特徴抽出ヘッドを採用する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、データ拡張に依存せずに、3D ポイントクラウドに対して厳密な回転不変表現を学習可能か？
• RQ2 回転不変特徴空間において、局所的な幾何的構造を効果的に捉える方法は何か？
• RQ3 手動で設計されたキーポイント記述子は、PointNet ベースアーキテクチャと組み合わせることで、3D 形状認識の性能向上に寄与するか？
• RQ4 既存の回転不変特徴（例：ポイントペア特徴）と比較して、提案されたポイントプロジェクション特徴は、識別力において優れているか？
• RQ5 回転不変 3D 分析において、最適な近傍数と入力ポイント数は何か？

主な発見

• SRINet は、ModelNet40 分類で 87.01% の精度、1024 入力ポイントにおけるパーツセグメンテーションで 89.28% の精度を達成し、最先端手法を上回った。
• 入力ポイントクラウドが回転されても性能が低下せず、回転不変性が厳密に維持されていることが確認された。
• キーポイント検出モジュールを削除すると、分類精度が 1.42% 減少し、IoU が 0.66% 減少したため、その有効性が裏付けられた。
• 1024 入力ポイントが最良の性能を示し、512 または 2048 ポイントでも劣化が最小限に抑えられ、解像度の変動に強いことが示された。
• ポイントプロジェクション特徴は 82.2% の分類精度を達成し、同じ設定下でポイントペア特徴の 68.9% より顕著に優れており、優れた識別力の証明となった。
• 49 個の近傍点を用いたグラフアグリゲーションが最高のセグメンテーション性能（IoU: 76.56%）を示し、広い局所受容 field が形状認識を向上させることを示した。