[論文レビュー] LSANet: Feature Learning on Point Sets by Local Spatial Aware Layer

Lin-Zhuo Chen, Xuanyi Li+4 more|arXiv (Cornell University)|May 14, 2019

3D Shape Modeling and Analysis参考文献 28被引用数 24

ひとこと要約

LSANetは、局所的な点群領域から階層的に空間分布重み（SDW）を学習する局所空間認識（LSA）層を導入し、幾何的特徴抽出を強化する。共有MLPとSDWを統合することで、従来手法よりもきめ細やかな空間構造をより頑健に捉えることができ、ModelNet40で1024点のみを入力として93.2%の精度を達成し、同等の条件下で最先端性能を上回った。

ABSTRACT

Directly learning features from the point cloud has become an active research direction in 3D understanding. Existing learning-based methods usually construct local regions from the point cloud and extract the corresponding features. However, most of these processes do not adequately take the spatial distribution of the point cloud into account, limiting the ability to perceive fine-grained patterns. We design a novel Local Spatial Aware (LSA) layer, which can learn to generate Spatial Distribution Weights (SDWs) hierarchically based on the spatial relationship in local region for spatial independent operations, to establish the relationship between these operations and spatial distribution, thus capturing the local geometric structure sensitively.We further propose the LSANet, which is based on LSA layer, aggregating the spatial information with associated features in each layer of the network better in network design.The experiments show that our LSANet can achieve on par or better performance than the state-of-the-art methods when evaluating on the challenging benchmark datasets. For example, our LSANet can achieve 93.2% accuracy on ModelNet40 dataset using only 1024 points, significantly higher than other methods under the same conditions. The source code is available at https://github.com/LinZhuoChen/LSANet.

研究の動機と目的

• 空間的に独立した特徴操作による制限により、既存の点群ネットワークが細分化された幾何的パターンを捉えきれていないことに対処すること。
• 局所的な点群領域の空間的分布を明示的にモデル化する学習可能なモジュールを設計し、幾何的認識を向上させること。
• 提案されたLSA層を用いて空間的および特徴情報の階層的集約を実現する深層ネットワークアーキテクチャを開発すること。
• サンプリング密度や幾何的変換に対して感受性が低い条件下でも、3D認識ベンチマークで最先端の性能を達成すること。

提案手法

• LSA層は、個々の点ベクトルに依存するのではなく、局所的な点群領域の完全な空間的構成に基づいて空間分布重み（SDW）を生成する。
• SDWは、各局所的近傍内でのグローバルな空間的関係を捉えるための領域空間エンコーダによって学習される。
• SDWは共有マルチレイヤーパーセプトロン（MLP）と統合され、空間的に認識された特徴抽出が可能となり、幾何的構造に敏感な処理が実現される。
• SFE（サンプリングおよび特徴符号化）層は、空間座標を高次元表現にアップスケールすることで、特徴次元とよりよく一致させる。
• ネットワークは、複数のLSA層およびSFE層を用いた階層的設計により、深く空間的に認識された特徴表現を構築する。
• LSA層により、SDW統合付きのマックスプーリングが可能となり、最も空間的に代表的な特徴が選択される。

実験結果

リサーチクエスチョン

• RQ1 学習可能な空間重み付け機構は、点群ネットワークにおける幾何的特徴抽出を改善できるか？
• RQ2 局所領域の完全な空間的分布をモデル化することで、幾何的変換に対してどの程度頑健性が向上するか？
• RQ3 LSA層は、空間的に無関係な手法と比較して、3D分類およびセグメンテーションタスクの性能をどの程度向上させるか？
• RQ4 LSANetは、点群密度や入力サイズが変化する条件下でもどの程度の性能を示すか？

主な発見

• LSANetは、ModelNet40データセットで入力点数が1024点のみの条件下でも93.2%の精度を達成し、同等条件での先行研究を上回った。
• アブレーションスタディの結果、LSA層が1.1%の精度向上に寄与しており、領域空間エンコーダーおよびSDW統合付きマックスプーリングがさらに性能向上に寄与した。
• LSANetは、点密度が変化する条件下でも強固な性能を維持しており、64点でも安定した精度を示し、スパースな入力に対して頑健であることが確認された。
• セグメンテーションタスクにおいて、LSANetはShapeNet、ScanNet、S3DISデータセットでPointNet++、SpecGCN、SpiderCNNを上回った。
• 分類用に230万パラメータ、セグメンテーション用に230万未満のパラメータを有し、推論時間は0.060秒で、SpiderCNNを上回り、PointNet++と同等の速度を達成した。
• SDWの可視化結果から、チャネルごとに方向的傾向が明確に現れており、モジュールがきめ細やかな幾何的パターンを効果的に認識していることが確認された。