[論文レビュー] Point Attention Network for Semantic Segmentation of 3D Point Clouds

Mingtao Feng, Liang Zhang+3 more|arXiv (Cornell University)|Sep 27, 2019

3D Shape Modeling and Analysis参考文献 52被引用数 16

ひとこと要約

本稿では、局所的アテンション・エッジ畳み込み（LAE-Conv）層とポイントワイドな空間アテンションモジュールを組み合わせた3次元点群セマンティックセグメンテーション用のポイントアテンションネットワーク（PAN）を提案する。LAE-Convは方向性のある近隣グラフを構築し、幾何学的不変性を保ちながら学習可能なアテンションを用いて特徴を集約する。一方、空間アテンションモジュールは長距離依存関係を捉える。本手法はS3DISおよびShapeNetベンチマークで最先端の性能を達成し、主な指標において先行手法を上回る。

ABSTRACT

Convolutional Neural Networks (CNNs) have performed extremely well on data represented by regularly arranged grids such as images. However, directly leveraging the classic convolution kernels or parameter sharing mechanisms on sparse 3D point clouds is inefficient due to their irregular and unordered nature. We propose a point attention network that learns rich local shape features and their contextual correlations for 3D point cloud semantic segmentation. Since the geometric distribution of the neighboring points is invariant to the point ordering, we propose a Local Attention-Edge Convolution (LAE Conv) to construct a local graph based on the neighborhood points searched in multi-directions. We assign attention coefficients to each edge and then aggregate the point features as a weighted sum of its neighbors. The learned LAE-Conv layer features are then given to a point-wise spatial attention module to generate an interdependency matrix of all points regardless of their distances, which captures long-range spatial contextual features contributing to more precise semantic information. The proposed point attention network consists of an encoder and decoder which, together with the LAE-Conv layers and the point-wise spatial attention modules, make it an end-to-end trainable network for predicting dense labels for 3D point cloud segmentation. Experiments on challenging benchmarks of 3D point clouds show that our algorithm can perform at par or better than the existing state of the art methods.

研究の動機と目的

• 既存の3次元点群セグメンテーション手法が、局所的な幾何的詳細と長距離の文脈的関係の両方を捉えることの制限を解消すること。
• 不規則で順序のない点群において、局所的な点関係を効果的にモデル化できる、学習可能な置換不変のメカニズムを開発すること。
• 新たなアテンションベースのアーキテクチャを用いて、局所的およびグローバルな文脈的特徴を統合し、セマンティックセグメンテーションの精度を向上させること。
• 多様な3次元シーンやオブジェクトカテゴリに一般化できる階層的でエンドツーエンドトレーニング可能なネットワークを設計すること。
• S3DISおよびShapeNetなどの標準的な3次元点群ベンチマークで、既存の最先端手法を上回ること。

提案手法

• ボールクエリを用いた多方向近隣探索により、局所グラフを構築する局所的アテンション・エッジ畳み込み（LAE-Conv）層を提案し、幾何的汎化性を向上させる。
• 局所グラフ内のエッジに学習可能なアテンション係数を割り当て、近隣点の重み付き和として特徴を集約することで、特徴表現のロバスト性を向上させる。
• 点の順序に依存しないようにLAE-Conv層を設計し、無順序な局所近傍におけるアテンションを活用することで、置換不変性を確保する。
• すべての点間のグローバルな依存関係行列を計算するポイントワイドな空間アテンションモジュールを導入し、局所受容野を超えた長距離空間相関をモデル化する。
• LAE-Conv層と空間アテンションモジュールをU字型のエンコーダ・デコーダアーキテクチャに統合し、エンドツーエンドトレーニングと密度予測を実現する。
• 深層層を横断するマルチスケール特徴学習を採用し、より大きな受容領域と抽象的特徴を段階的に捉える。

実験結果

リサーチクエスチョン

• RQ1 多方向の局所グラフ上で学習可能なアテンション機構を用いることで、不規則な3次元点群における局所的特徴表現が向上するか？
• RQ2 ポイントワイドな空間アテンションモジュールは、3次元点群における遠く離れた点間の長距離依存関係を効果的にモデル化できるか？
• RQ3 局所的アテンションとグローバル空間アテンションを組み合わせることで、既存手法よりも優れたセマンティックセグメンテーション性能が得られるか？
• RQ4 提案されたLAE-Convおよびアテンションモジュールは、エンドツーエンドトレーニングと推論に適したU字型ネットワークに効果的に統合できるか？
• RQ5 提案手法は、標準的な3次元点群セグメンテーションベンチマーク（S3DISおよびShapeNet）において、最先端モデルと比較してどのように差をつけるか？

主な発見

• 提案されたポイントアテンションネットワークは、S3DISデータセットで平均交差率（mIoU）85.5%を達成し、以前の最先端手法を上回った。
• ShapeNetデータセットでは、パーツ平均IoUが84.10%、カテゴリ平均IoUが82.8%を達成し、大多数のカテゴリで最良の結果を記録した。
• イヤフォン、ランプ、モーター、ロケットなどの特定カテゴリでは、特にデータポイントが少ない状況でも顕著な性能向上を示した。
• アブレーションスタディの結果、LAE-Convおよび空間アテンションモジュールの両方が性能向上に顕著な寄与をしていることが確認され、後者は長距離文脈モデリングを強化した。
• 多様な3次元シーンやオブジェクトタイプにわたって良好な一般化性能を示し、大規模ベンチマークでもロバストでスケーラブルであることが実証された。
• S3DISおよびShapeNetの両ベンチマークで最先端の結果を達成し、提案されたアテンションベースのアーキテクチャの有効性が裏付けられた。