[論文レビュー] Window Normalization: Enhancing Point Cloud Understanding by Unifying Inconsistent Point Densities

Qi Wang, Sheng Shi+3 more|arXiv (Cornell University)|Dec 5, 2022

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本論文では、3次元点群における不均一な点密度に対処するため、局所的近傍の正規化と局所的・グローバル表現のバランスを高めるPre-abstraction Group-wise Window-Normalization (PAGWN)モジュールを提案する。この手法により特徴抽出が向上し、S3DIS (Area 5) においてPointNeXt-XLより2.7%のmIoU向上を達成し、最先端の性能を実現した。

ABSTRACT

Downsampling and feature extraction are essential procedures for 3D point cloud understanding. Existing methods are limited by the inconsistent point densities of different parts in the point cloud. In this work, we analyze the limitation of the downsampling stage and propose the pre-abstraction group-wise window-normalization module. In particular, the window-normalization method is leveraged to unify the point densities in different parts. Furthermore, the group-wise strategy is proposed to obtain multi-type features, including texture and spatial information. We also propose the pre-abstraction module to balance local and global features. Extensive experiments show that our module performs better on several tasks. In segmentation tasks on S3DIS (Area 5), the proposed module performs better on small object recognition, and the results have more precise boundaries than others. The recognition of the sofa and the column is improved from 69.2% to 84.4% and from 42.7% to 48.7%, respectively. The benchmarks are improved from 71.7%/77.6%/91.9% (mIoU/mAcc/OA) to 72.2%/78.2%/91.4%. The accuracies of 6-fold cross-validation on S3DIS are 77.6%/85.8%/91.7%. It outperforms the best model PointNeXt-XL (74.9%/83.0%/90.3%) by 2.7% on mIoU and achieves state-of-the-art performance. The code and models are available at https://github.com/DBDXSS/Window-Normalization.git.

研究の動機と目的

• 3次元点群の異なる領域における不均一な点密度が、従来の手法における効果的な特徴学習を妨げるという課題に対処すること。
• ウィンドウ正規化を用いて、点密度の変動に関係なく局所的近傍統計を統一することで、特徴表現を向上させること。
• ダウンサンプリング段階で局所的およびグローバル特徴のバランスを取るために、事前抽象化モジュールを導入し、情報損失を低減すること。
• 点群セマンティックセグメンテーションにおける小領域認識および境界精度の向上を図ること。
• 既存のネットワークと互換性があり、アーキテクチャの大幅な見直しを伴わずに性能を向上できるプラグインモジュールの開発

提案手法

• 近接した近傍点と遠く離れた近傍点に分ける2グループに分割するグループワイズウィンドウ正規化（GWN）モジュールを提案する。
• 各グループに対して個別にウィンドウ正規化を適用し、点密度の変動に関係なく特徴分布を安定化・統一する。
• 中心点とその近傍点が一様に扱われるよう事前抽象化モジュールを導入し、局所的およびグローバルレベルの特徴バランスを向上させる。
• 空間座標と特徴を可学習線形層で集約し、バッチ正規化とReLU活性化を適用する。
• 正規化された特徴に対して最大プーリングを適用し、最終的な点埋め込みを生成することで階層的構造を保持する。
• 特徴の多様性と計算コストのバランスを最適化するため、グループ化点数（m）を最適化し、m=3が最適であると判明した。

実験結果

リサーチクエスチョン

• RQ1 3次元点群の異なる部分における不均一な点密度は、ディープネットワークにおける特徴学習にどのように影響を与えるか？
• RQ2 ウィンドウ正規化は、点密度が異なる領域間で特徴分布を効果的に統一できるか？
• RQ3 近傍特徴のグループワイズ戦略は、テクスチャ情報と空間的情報の両方の抽出を向上させられるか？
• RQ4 事前抽象化モジュールは、ダウンサンプリング段階で局所的およびグローバル特徴学習のバランスをより良くできるか？
• RQ5 PAGWNモジュールは、点群セグメンテーションにおける小領域認識および境界精度の向上にどの程度寄与するか？

主な発見

• S3DIS (Area 5) において、mIoUが71.7%から72.2%に向上し、mAccとOAもそれぞれ78.2%および91.4%に上昇した。
• S3DISの6分割交差検証において、モデルは77.6%のmIoU、85.8%のmAcc、91.7%のOAを達成し、PointNeXt-XLよりmIoUで2.7%優れた性能を示した。
• 小領域認識が顕著に向上：ソファ認識率は69.2%から84.4%に、柱認識率は42.7%から48.7%に向上した。
• アブレーションスタディにより、m=3のグループワイズウィンドウ正規化が最良の性能を示し、mIoUを70.9%から71.4%に向上させた。
• PAGWNモジュールは追加計算コストが極めて少なく、追加パラメータ数は264,000にとどまり、S3DISにおける推論時間も2分未満の増加にとどまった。
• 既存のネットワークに統合する際、アーキテクチャの変更なしに有効であることが確認され、優れた汎化性能とプラグイン互換性を示した。