[論文レビュー] MKConv: Multidimensional Feature Representation for Point Cloud Analysis

Sungmin Woo, Dogyoon Lee+3 more|arXiv (Cornell University)|Jul 27, 2021

3D Surveying and Cultural Heritage被引用数 6

ひとこと要約

MKConvは、カーネル重み内の空間相関を学習することで、1次元点特徴を多次元行列に変換する新しい点畳み込み演算子を提案する。これにより、ボクセル化されていない点群に対しても離散畳み込みを可能にし、より豊かな局所幾何構造を捉える。点群分類、部品セグメンテーション、シーンセグメンテーションの各タスクで最先端の性能を達成し、S3DISでは最大67.7%のmIoU、ModelNet40では93.7%の精度を達成した。

ABSTRACT

Despite the remarkable success of deep learning, an optimal convolution operation on point clouds remains elusive owing to their irregular data structure. Existing methods mainly focus on designing an effective continuous kernel function that can handle an arbitrary point in continuous space. Various approaches exhibiting high performance have been proposed, but we observe that the standard pointwise feature is represented by 1D channels and can become more informative when its representation involves additional spatial feature dimensions. In this paper, we present Multidimensional Kernel Convolution (MKConv), a novel convolution operator that learns to transform the point feature representation from a vector to a multidimensional matrix. Unlike standard point convolution, MKConv proceeds via two steps. (i) It first activates the spatial dimensions of local feature representation by exploiting multidimensional kernel weights. These spatially expanded features can represent their embedded information through spatial correlation as well as channel correlation in feature space, carrying more detailed local structure information. (ii) Then, discrete convolutions are applied to the multidimensional features which can be regarded as a grid-structured matrix. In this way, we can utilize the discrete convolutions for point cloud data without voxelization that suffers from information loss. Furthermore, we propose a spatial attention module, Multidimensional Local Attention (MLA), to provide comprehensive structure awareness within the local point set by reweighting the spatial feature dimensions. We demonstrate that MKConv has excellent applicability to point cloud processing tasks including object classification, object part segmentation, and scene semantic segmentation with superior results.

研究の動機と目的

• 標準的な点畳み込みは特徴を1次元ベクトルでのみ表現するという制限を克服し、特徴表現に空間次元を導入すること。
• ボクセル化に基づく手法における情報損失を克服するとともに、不規則な点群に対しても効率的な離散畳み込みの利用を可能にすること。
• 学習されたカーネル重みを通じて特徴次元間の空間相関をモデル化することで、局所幾何特徴の学習を向上させること。
• 新規の多次元局所アテンション（MLA）モジュールを用いて、局所点近傍における構造認識を強化すること。

提案手法

• MKConvは連続的なカーネル関数を用いて多次元カーネル重みを学習し、特徴次元間の空間相関をモデル化する。
• 学習されたカーネル重みによって空間次元を活性化することで、1次元点特徴を2次元または3次元の特徴行列に変換する。
• 得られたグリッド構造の多次元特徴に対して離散畳み込みを適用し、ボクセル化を回避するとともに幾何的詳細を保持する。
• 多次元局所アテンション（MLA）モジュールにより、空間的特徴次元を再重み付けし、局所構造認識を強化する。
• 訓練の安定化と一般化性能の向上を図るため、正規化されたカーネル重み（L2正則化または標準化）を用いる。
• アーキテクチャは、特徴変換と層間の特徴集約に共通のMLPを統合したMKConv層で構成される。

実験結果

リサーチクエスチョン

• RQ1 カーネル重み内の空間相関を学習することで、点群解析における局所特徴表現が向上するか？
• RQ2 1次元点特徴を多次元行列に変換することで、局所幾何構造のモデリングが向上するか？
• RQ3 カーネル学習を通じてグリッド構造の特徴行列を構築することで、ボクセル化されていない点群に対しても効果的な離散畳み込みを適用できるか？
• RQ4 提案された多次元局所アテンション（MLA）モジュールは、標準的なアテンションと比較してどのように局所構造認識を向上させるか？
• RQ5 MKConvのさまざまな点群タスクにおける最適なカーネルサイズ、近傍数、畳み込み層数の設定は何か？

主な発見

• ModelNet40分類タスクで93.7%の精度を達成し、先行手法を上回った。最良の設定（標準化＋MLA）では93.7%の精度を記録した。
• ShapeNetPartの部品セグメンテーションでは86.3%のmIoUを達成し、最良のモデル（C）では32近傍点を用いて86.5%のmIoUを達成した。
• S3DISのセマンティックシーンセグメンテーションでは89.6%のOAと67.7%のmIoUを達成し、最良の設定は標準化とMLAを組み合わせたものだった。
• 1層あたりの近傍数を64から20に減少させることで、推論遅延を6.76msから3.96msに短縮し、精度はわずか0.2%低下した。
• MKConvユニットに3層または4層の離散畳み込み層を用いることで、2層の設定よりも優れた性能を発揮し、4層は3層よりもわずかに優れた性能を示した。
• 特徴可視化の結果、深層では高レベルの意味的構造（例：羽、脚）が学習されているのに対し、浅層ではエッジやコーナーが検出されていることが確認された。