[論文レビュー] SAWNet: A Spatially Aware Deep Neural Network for 3D Point Cloud Processing

Chaitanya Kaul, Nick Pears+1 more|arXiv (Cornell University)|May 18, 2019

3D Shape Modeling and Analysis参考文献 31被引用数 10

ひとこと要約

SAWNet は、空間的に注意を払う深層ニューラルネットワークであり、新規の SAW レイヤーを用いて 3D ポイントクラウドにおけるグローバルおよびローカルの幾何的特徴を統合し、安定した学習を可能にするために残差接続を強化している。ModelNet40 で最先端の正確性（トップ1正解率 89.7%）を達成し、ShapeNet パートおよび ScanNet 分割ベンチマークでも競争力のある結果を示しており、ポイントドロップアウトに対して頑健であることが示された。

ABSTRACT

Deep neural networks have established themselves as the state-of-the-art methodology in almost all computer vision tasks to date. But their application to processing data lying on non-Euclidean domains is still a very active area of research. One such area is the analysis of point cloud data which poses a challenge due to its lack of order. Many recent techniques have been proposed, spearheaded by the PointNet architecture. These techniques use either global or local information from the point clouds to extract a latent representation for the points, which is then used for the task at hand (classification/segmentation). In our work, we introduce a neural network layer that combines both global and local information to produce better embeddings of these points. We enhance our architecture with residual connections, to pass information between the layers, which also makes the network easier to train. We achieve state-of-the-art results on the ModelNet40 dataset with our architecture, and our results are also highly competitive with the state-of-the-art on the ShapeNet part segmentation dataset and the indoor scene segmentation dataset. We plan to open source our pre-trained models on github to encourage the research community to test our networks on their data, or simply use them for benchmarking purposes.

研究の動機と目的

• 無順序で非ユークリッド的な 3D ポイントクラウドデータを効率的に処理する課題に対処すること。
• グローバルな文脈とローカルな幾何的構造を組み合わせることで、ポイントクラウドの表現学習を向上させること。
• 空間的に注意を払うアーキテクチャにおいて残差接続を用いることで、学習の安定性と特徴学習を向上させること。
• 最小限のハイパーパramータチューニングで分類およびセグメンテーションタスクにおいて優れたパフォーマンスを達成すること。

提案手法

• 共有された多層パーセプトロン（MLP）を用いたグローバルなポイントクラウド埋め込みと、動的グラフ CNN（DGCNN）を用いたローカル近傍特徴を同時に符号化する SAW レイヤーを提案する。
• 特徴の流れを層間で保持するために、特徴の連結と残差アイデンティティマッピングを統合してグローバルおよびローカル表現を統合する。
• 入力ポイントクラウドの特徴抽出の前に、学習可能な 3×3 変換行列を用いた空間変換器モジュールを採用する。
• グローバル特徴の集約に最大プーリングを用い、最終的な分類またはポイントワイドセグメンテーションのための 3 層 MLP を使用する。
• 層間だけでなく、層内に対しても残差接続を適用し、勾配の流れを安定化させ、最適化を改善する。
• 分類およびセグメンテーションタスクの両方において、標準的なバックプロパゲーションと交差エントロピー損失を用いて、ネットワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 1 つの層内でグローバルおよびローカルの幾何的特徴を統合することで、3D ポイントクラウドの表現学習が向上するか？
• RQ2 残差学習は、ポイントクラウドネットワークのパフォーマンスおよび学習の安定性にどのように影響するか？
• RQ3 提案されたアーキテクチャは、ポイントクラウドの疎らさやランダムなポイントドロップアウトに対してどの程度頑健か？
• RQ4 空間変換器は、さまざまなポイントクラウドの方向に対するアライメントと一般化を改善するか？
• RQ5 標準的な 3D ポイントクラウドベンチマークにおいて、SAWNet のアーキテクチャは最先端のモデルと比較してどうなるか？

主な発見

• SAWNet は ModelNet40 データセットでトップ1正解率 89.7% を達成し、新たな最先端の結果を樹立した。
• ShapeNet パートセグメンテーションデータセットでは、平均交差率（mIoU）が 84.8% に達し、最先端の結果から 0.3 ポints 内で収束した。
• 128 ポイントのみで 86.1% の正解率を維持しており、DGCNN よりも優れた性能を示した。DGCNN は 384 ポイントを下回ると著しく低下した。
• 可視化結果から、『イヤフォン』 や『ライフル』 といった挑戦的なカテゴリを含む、多様なオブジェクトカテゴリにおいて一貫性があり正確なパーツセグメンテーションが得られていることが示された。
• ランダムなポイントドロップアウトに対して強い一般化能力を示しており、遮蔽やスパースサンプリング下でも頑健であることが示唆された。
• アブレーションスタディにより、SAW レイヤーによるグローバルおよびローカル特徴の統合が、ベースラインよりも顕著にパフォーマンスを向上させていることが確認された。