[논문 리뷰] Anchor-Based Spatial-Temporal Attention Convolutional Networks for Dynamic 3D Point Cloud Sequences.

Guangming Wang, Hanwen Liu외 4명|arXiv (Cornell University)|2020. 12. 20.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 동적 3D 포인트 클라우드 시퀀스를 위한 새로운 앵커 기반 공간-시간 주의력 컨볼루션 신경망인 ASTACNN을 제안한다. 이는 가상의 앵커와 주의 메커니즘을 사용하여 공간과 시간에 걸쳐 국소 특징을 집계하며, 행동 인식 및 의미 분할 작업에서 최신 기술 수준의 성능을 달성하여 이전 방법보다 정확도를 향상시킨다.

ABSTRACT

Recently, learning based methods for the robot perception from the image or video have much developed, but deep learning methods for dynamic 3D point cloud sequences are underexplored. With the widespread application of 3D sensors such as LiDAR and depth camera, efficient and accurate perception of the 3D environment from 3D sequence data is pivotal to autonomous driving and service robots. An Anchor-based Spatial-Temporal Attention Convolution operation (ASTAConv) is proposed in this paper to process dynamic 3D point cloud sequences. The proposed convolution operation builds a regular receptive field around each point by setting several virtual anchors around each point. The features of neighborhood points are firstly aggregated to each anchor based on spatial-temporal attention mechanism. Then, anchor-based sparse 3D convolution is adopted to aggregate the features of these anchors to the core points. The proposed method makes better use of the structured information within the local region, and learn spatial-temporal embedding features from dynamic 3D point cloud sequences. Then Anchor-based Spatial-Temporal Attention Convolutional Neural Networks (ASTACNNs) are proposed for classification and segmentation tasks and are evaluated on action recognition and semantic segmentation tasks. The experimental results on MSRAction3D and Synthia datasets demonstrate that the higher accuracy can be achieved than the previous state-of-the-art method by our novel strategy of multi-frame fusion.

연구 동기 및 목표

• 로봇 인식 분야에서 동적 3D 포인트 클라우드 시퀀스에 대한 딥 러닝 방법의 발전이 부족한 문제를 해결하기 위해.
• 구조화된 국소 공간-시간 관계를 활용하여 동적 3D 포인트 클라우드에서의 특징 학습을 향상시키기 위해.
• 다중 프레임 정보를 효과적으로 융합할 수 있는 새로운 컨볼루션 연산을 개발하여 더 나은 표현 학습을 달성하기 위해.
• 엔드 투 엔드 학습을 통해 3D 포인트 클라우드 분류 및 의미 분할 작업에서 높은 정확도를 달성하기 위해.

제안 방법

• 각 점 주변의 가상 앵커를 사용하여 정규화된 수신 영역을 설정하는 새로운 컨볼루션 연산인 ASTAConv를 도입한다.
• 유사도에 기반하여 각 앵커에 대해 이웃 점의 특징을 주의 메커니즘을 통해 집계한다.
• 앵커 기반 희소 3D 컨볼루션을 적용하여 앵커에서 중심 점으로 특징을 전파함으로써 공간적 구조를 유지한다.
• 구조화된 국소 특징을 활용하여 동적 3D 시퀀스에서 강력한 공간-시간 임베딩을 학습한다.
• 분류 및 분할 작업을 위한 깊이 신경망 아키텍처인 ASTACNN을 ASTAConv 기반으로 설계한다.
• 공간-시간 주의 메커니즘을 통한 다중 프레임 융합을 통해 순차적 포인트 클라우드에서의 시간 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 동적 3D 포인트 클라우드 시퀀스의 공간-시간 의존성을 향상된 인식 성능을 위해 효과적으로 모델링할 수 있는가?
• RQ2 기본 컨볼루션 연산에 비해 가상의 앵커가 3D 포인트 클라우드 처리에서 국소 특징 집계에 도움이 되는가?
• RQ3 희소 3D 컨볼루션에 주의 메커니즘을 통합하면 3D 시퀀스 이해 작업 성능이 향상되는가?
• RQ4 제안된 ASTAConv 연산이 행동 인식 및 의미 분할에서 기존 방법보다 얼마나 뛰어난가?

주요 결과

• MSRAction3D 데이터셋에서 제안된 ASTACNN은 이전 최신 기술 수준의 방법보다 더 높은 정확도를 달성한다.
• Synthia 데이터셋에서 ASTACNN은 이전 접근 방식에 비해 의미 분할 성능이 향상됨을 보였다.
• 공간-시간 주의 기반의 다중 프레임 융합 전략은 동적 시퀀스에서 더 구분력 있는 특징 표현을 이끌어낸다.
• 가상 앵커의 사용은 3D 포인트 클라우드에서 국소 구조적 정보를 더 효과적으로 활용할 수 있도록 한다.
• 앵커 기반 희소 3D 컨볼루션은 높은 특징 무결성을 유지하면서도 계산 비용을 효과적으로 줄인다.