[論文レビュー] Discrete Rotation Equivariance for Point Cloud Recognition

Jiaxin Li, Yingcai Bi+1 more|arXiv (Cornell University)|Mar 31, 2019

3D Shape Modeling and Analysis参考文献 43被引用数 4

ひとこと要約

本稿では、入力点群に事前に定義された回転を適用し、特徴の順列変換を活用することで、SO(2)/SO(3) 同変性を達成する離散的回転同変性手法を、点群認識に提案する。この手法により、特に SO(3) 回転下での分類精度が著しく向上し、PointNet-FE などの多段階ネットワークと統合した場合、ModelNet40 で最大 10.8% の向上を達成する。一方、グローバルプーリング構造に起因し、元の PointNet はこの手法を適用した後、性能が著しく低下することが明らかになった。

ABSTRACT

Despite the recent active research on processing point clouds with deep networks, few attention has been on the sensitivity of the networks to rotations. In this paper, we propose a deep learning architecture that achieves discrete $\mathbf{SO}(2)$/$\mathbf{SO}(3)$ rotation equivariance for point cloud recognition. Specifically, the rotation of an input point cloud with elements of a rotation group is similar to shuffling the feature vectors generated by our approach. The equivariance is easily reduced to invariance by eliminating the permutation with operations such as maximum or average. Our method can be directly applied to any existing point cloud based networks, resulting in significant improvements in their performance for rotated inputs. We show state-of-the-art results in the classification tasks with various datasets under both $\mathbf{SO}(2)$ and $\mathbf{SO}(3)$ rotations. In addition, we further analyze the necessary conditions of applying our approach to PointNet based networks. Source codes at https://github.com/lijx10/rot-equ-net

研究の動機と目的

• 点群認識のためのディープラーニングモデルにおける回転同変性の欠如に対処すること。
• アーキテクチャの大幅な見直しを伴わずに、一般化可能な離散的 SO(2)/SO(3) 回転同変性を実現する手法を開発すること。
• 特に SO(3) 回転下での点群分類タスクの性能を向上させること。
• PointNet のような既存ネットワークへのこの手法の統合に必要な構造的要件を分析すること。
• データオーグメンテーションの代替として、体系的かつ説明可能な手法を提供すること。

提案手法

• SO(2) や SO(3) 内の離散的回転を定義する有限 k 要素の回転群 R = {r_i, i ∈ [0, ..., k-1]} を定義する。
• 各回転 r_i を入力点群に適用し、すべての回転版を同じネットワークに通して k 個の特徴ベクトルを生成する。
• R の要素による入力点群の回転が、k 個の出力特徴ベクトルの順列変換を引き起こすことを証明し、回転同変性を確立する。
• max や平均プーリングなどの順列同変演算を用いることで、不変性を達成する。
• アーキテクチャのコア部分を変更せずに、PointNet や SO-Net、PointNet-FE などの既存点群ネットワークにこの手法を統合する。
• 将来の方向性として、座標変換を用いて回転同変性を並進同変性に変換することを検討する。

実験結果

リサーチクエスチョン

• RQ1 一般化可能でプラグイン可能な手法として、点群ネットワークで離散的 SO(2)/SO(3) 回転同変性を達成できるか？
• RQ2 本手法は、データオーグメンテーションと比較して、回転された点群分類タスクの性能をどのように向上させるか？
• RQ3 本手法はなぜ PointNet-FE や SO-Net では性能を向上させるが、vanilla PointNet では劣化させるのか？
• RQ4 本手法の同変性設計を効果的に活用できるネットワークに必要なアーキテクチャ的特性は何か？
• RQ5 座標変換を用いることで、本手法を連続的回転同変性に拡張できるか？

主な発見

• 提案手法は、ModelNet40 および MNIST において、SO(2) および SO(3) 回転下で最先端の性能を達成した。
• ModelNet40 において、PointNet-FE に適用した場合、SO(3) 回転下で分類精度が 10.8% 向上した。
• SO-Net では、SO(3) 回転下で精度が 4.4% 向上し、多段階ネットワークにおいても一貫した向上が確認された。
• vanilla PointNet は、本手法を適用した後、SO(3) 回転下で性能が 19.9% 劣化した。これは、グローバルプーリング構造が特徴の相互作用を制限しているためである。
• SO(3) の場合の向上が SO(2) より顕著であるのは、2D 回転状況ではもともとデータオーグメンテーションが効果的であるためと考えられる。
• 回転群のサイズを増やすことで性能向上が見られるが、その効果は次第に小さくなり、計算コストは群のサイズに線形に比例する。