[論文レビュー] Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences.

Guangming Wang, Hanwen Liu+4 more|arXiv (Cornell University)|Dec 20, 2020

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文では、動的3次元点群シーケンス向けに、仮想アンカーとアテンションメカニズムを用いて空間的・時間的領域で局所特徴を統合する、新しいアンカーベースの空間的・時間的アテンション畳み込みニューラルネットワーク（ASTACNN）を提案する。この手法は、アクション認識およびセマンティックセグメンテーションタスクにおいて、先行手法を上回る高い精度を達成し、最先端の性能を実現した。

ABSTRACT

Recently, learning based methods for the robot perception from the image or video have much developed, but deep learning methods for dynamic 3D point cloud sequences are underexplored. With the widespread application of 3D sensors such as LiDAR and depth camera, efficient and accurate perception of the 3D environment from 3D sequence data is pivotal to autonomous driving and service robots. An Anchor-based Spatial-Temporal Attention Convolution operation (ASTAConv) is proposed in this paper to process dynamic 3D point cloud sequences. The proposed convolution operation builds a regular receptive field around each point by setting several virtual anchors around each point. The features of neighborhood points are firstly aggregated to each anchor based on spatial-temporal attention mechanism. Then, anchor-based sparse 3D convolution is adopted to aggregate the features of these anchors to the core points. The proposed method makes better use of the structured information within the local region, and learn spatial-temporal embedding features from dynamic 3D point cloud sequences. Then Anchor-based Spatial-Temporal Attention Convolutional Neural Networks (ASTACNNs) are proposed for classification and segmentation tasks and are evaluated on action recognition and semantic segmentation tasks. The experimental results on MSRAction3D and Synthia datasets demonstrate that the higher accuracy can be achieved than the previous state-of-the-art method by our novel strategy of multi-frame fusion.

研究の動機と目的

• ロボットビジョンにおける動的3次元点群シーケンスのためのディープラーニング手法の未開発状態を是正すること。
• 構造的な局所的空間的・時間的関係を活用することで、動的3次元点群における特徴学習を向上させること。
• 複数フレームの情報を効果的に統合する新しい畳み込み演算を開発し、より良い表現学習を実現すること。
• エンドツーエンド学習を用いて、3次元点群分類およびセマンティックセグメンテーションタスクにおける高い精度を達成すること。

提案手法

• 各点の周囲に仮想アンカーを用いて規則的な受容 field を確立する、新しい畳み込み演算であるASTAConvを導入する。
• 関連性に基づいて近隣点特徴を各アンカーに集約する、空間的・時間的アテンションメカニズムを採用する。
• アンカーに基づくスパース3次元畳み込みを適用し、アンカーから中心点へ特徴を伝搬させることで空間構造を保持する。
• 構造的な局所特徴を活用して、動的3次元シーケンスからのロバストな空間的・時間的埋め込みを学習する。
• 分類およびセグメンテーションタスク用に、ASTAConvに基づく深層ニューラルネットワークアーキテクチャであるASTACNNを設計する。
• 空間的・時間的アテンションを用いた多フレーム統合により、順次的点群における時間的モデリングを強化する。

実験結果

リサーチクエスチョン

• RQ1 動的3次元点群シーケンスにおける空間的・時間的依存関係は、どのように効果的にモデル化可能か？
• RQ2 標準的な畳み込み演算と比較して、仮想アンカーは3次元点群処理における局所的特徴集約をどのように向上させるか？
• RQ3 スパース3次元畳み込みとアテンションメカニズムを統合することで、3次元シーケンス理解タスクの性能は向上するか？
• RQ4 提案されたASTAConv演算は、アクション認識およびセマンティックセグメンテーションにおいて、既存手法をどの程度上回るか？

主な発見

• MSRAction3Dデータセットにおいて、提案されたASTACNNは、アクション認識タスクで以前の最先端手法を上回る高い精度を達成した。
• Synthiaデータセットでは、ASTACNNが従来のアプローチと比較して、セマンティックセグメンテーションの性能が向上した。
• 空間的・時間的アテンションに基づく多フレーム統合戦略により、動的シーケンスにおけるより判別力のある特徴表現が得られた。
• 仮想アンカーの使用により、3次元点群における局所的構造的情報をより効果的に活用できるようになった。
• アンカーに基づくスパース3次元畳み込みは、計算コストを効果的に低減しつつ、高い特徴忠実度を維持した。