[論文レビュー] Rotation Invariant Point Cloud Classification: Where Local Geometry Meets Global Topology

Chen Zhao, Jiaqi Yang+4 more|arXiv (Cornell University)|Nov 1, 2019

3D Shape Modeling and Analysis参考文献 51被引用数 22

ひとこと要約

本稿では、局所的な幾何的特徴とグローバルなトポロジー保存表現を注意に基づく特徴融合モジュールで統合することで回転不変な点群分類を達成する二本のブランチからなる深層学習フレームワーク、LGR-Netを提案する。この手法は、ModelNet40、ShapeNet、ScanObjectNN、S3DISの回転拡張版ベンチマークにおいて最先端のモデルを上回り、ScanObjectNNのOBJ_BGでは81.2%の精度を達成しながら完全な回転不変性を維持している。

ABSTRACT

Point cloud analysis is a fundamental task in 3D computer vision. Most previous works have conducted experiments on synthetic datasets with well-aligned data; while real-world point clouds are often not pre-aligned. How to achieve rotation invariance remains an open problem in point cloud analysis. To meet this challenge, we propose a novel approach toward achieving rotation-invariant (RI) representations by combining local geometry with global topology. In our local-global-representation (LGR)-Net, we have designed a two-branch network where one stream encodes local geometric RI features and the other encodes global topology-preserving RI features. Motivated by the observation that local geometry and global topology have different yet complementary RI responses in varying regions, two-branch RI features are fused by an innovative multi-layer perceptron (MLP) based attention module. To the best of our knowledge, this work is the first principled approach toward adaptively combining global and local information under the context of RI point cloud analysis. Extensive experiments have demonstrated that our LGR-Net achieves the state-of-the-art performance on various rotation-augmented versions of ModelNet40, ShapeNet, ScanObjectNN, and S3DIS.

研究の動機と目的

• 実世界の点群解析においてデータがしばしばアラインメントされていないという状況における回転不変性の課題に対処すること。
• 局所的幾何的不変性とグローバルなトポロジカル不変性を統合する原理的で洗練された手法を構築すること。
• 補完的な局所的およびグローバル表現を活用する、適応的統合を備えた二本のブランチネットワークを設計すること。
• 回転拡張設定下で、合成的および実世界のデータセットにおいて優れた性能を示すこと。

提案手法

• 局所ブランチは、局所形状属性を捉えるためにダーボウフレームに基づく拡張された持続的特徴ヒストグラムを用いて回転不変特徴を抽出する。
• グローバルブランチは、ダウンサンプリングされたスケルトンのような構造から導かれる回転等長性を持つグローバル座標系に点を投影することで、トポロジカル不変性を保持する。
• 新規の多層パーセプトロン（MLP）ベースの注意モジュールが、異なる領域における特徴の関連性に基づき、局所的およびグローバル特徴を適応的に統合する。
• 分類用にクロスエントロピー損失、セグメンテーション用にフォーカル損失を用いてエンドツーエンドに学習させることで、クラス不均衡に対する耐性を確保する。
• 回転不変性は、ベンチマークデータセットの回転拡張版を用いた広範な実験を通じて検証される。
• アブレーションスタディにより、両ブランチおよび注意ベースの統合機構が最適な性能を発揮するために不可欠であることが確認される。

実験結果

リサーチクエスチョン

• RQ1 局所的幾何的特徴とグローバルなトポロジカル特徴を効果的に統合することで、回転不変な点群分類を達成できるか？
• RQ2 平均プーリングや連結処理と比較して、局所的およびグローバル表現の注意に基づく統合は性能をどのように向上させるか？
• RQ3 点群の平坦部とコーナー部において、局所的およびグローバル表現がそれぞれどの程度異なる寄与をしているか？
• RQ4 適応的統合を備えた二本のブランチアーキテクチャは、一本のブランチや単一モalityアプローチに比べて回転条件下で優れた性能を発揮するか？

主な発見

• LGR-Netは、回転拡張されたScanObjectNNのOBJ_BGサブセットで81.2%の精度を達成し、一本のブランチベースラインより2.5ポイント高い。
• アブレーションスタディにより、局所ブランチおよびグローバルブランチの両方が顕著に寄与しており、注意ベースの統合はCat-Convより0.6%、Avg-Poolより9.6%の精度向上をもたらした。
• 注意統合を備えた二本のブランチアーキテクチャは、SO3/SO3回転拡張版のModelNet40で81.2%の精度を達成し、強い回転不変性を示した。
• S3DISやShapeNetを含む、すべての回転拡張ベンチマークで高いmIoUと精度を維持しており、任意の回転に対して高いロバストネスを確認した。
• RIグローバル表現をアラインメント済み座標に置き換えると、精度が約6%向上した。これは、カテゴリ内での方向の不一致が依然として課題であることを示唆している。
• ダウンサンプリングされたスケルトンのSVDに基づくグローバル座標系は、ノイズおよび欠損データに対して耐性を示したが、そのようなノイズへの感受性は依然として制限要因である。