[논문 리뷰] SequentialPointNet: A strong parallelized point cloud sequence network for 3D action recognition

Xing Li, Qian Huang외 3명|arXiv (Cornell University)|2021. 11. 16.

Human Pose and Action Recognition참고 문헌 71인용 수 4

한 줄 요약

SequentialPointNet는 포인트 클라우드 시퀀스에서 공간적 동적 특징과 시간적 운동 특징을 분리하여 효율적으로 스파atiotemporal 동역학을 포착하는 병렬 처리 가능한 3D 동작 인식 네트워크이다. 공간-시간 국소 이웃 구조를 비용이 많이 드는 과정으로 피하고, 시간적 위치 인코딩을 사용한 계층적 풀링 전략을 적용함으로써, 세 가지 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Point cloud sequences of 3D human actions exhibit unordered intra-frame spatial information and ordered interframe temporal information. In order to capture the spatiotemporal structures of the point cloud sequences, cross-frame spatio-temporal local neighborhoods around the centroids are usually constructed. However, the computationally expensive construction procedure of spatio-temporal local neighborhoods severely limits the parallelism of models. Moreover, it is unreasonable to treat spatial and temporal information equally in spatio-temporal local learning, because human actions are complicated along the spatial dimensions and simple along the temporal dimension. In this paper, to avoid spatio-temporal local encoding, we propose a strong parallelized point cloud sequence network referred to as SequentialPointNet for 3D action recognition. SequentialPointNet is composed of two serial modules, i.e., an intra-frame appearance encoding module and an inter-frame motion encoding module. For modeling the strong spatial structures of human actions, each point cloud frame is processed in parallel in the intra-frame appearance encoding module and the feature vector of each frame is output to form a feature vector sequence that characterizes static appearance changes along the temporal dimension. For modeling the weak temporal changes of human actions, in the inter-frame motion encoding module, the temporal position encoding and the hierarchical pyramid pooling strategy are implemented on the feature vector sequence. In addition, in order to better explore spatio-temporal content, multiple level features of human movements are aggregated before performing the end-to-end 3D action recognition. Extensive experiments conducted on three public datasets show that SequentialPointNet outperforms stateof-the-art approaches.

연구 동기 및 목표

• 3D 동작 인식 모델에서 공간-시간 국소 이웃 구조를 생성하는 계산 병목 현상을 해결한다.
• 인간 행동의 본질적 구조적 차이를 더 잘 반영하기 위해 공간적 외관 모델링과 시간적 운동 모델링을 분리한다.
• 순차적인 이웃 계산을 피함으로써 포인트 클라우드 시퀀스 처리에 강력한 병렬성을 확보한다.
• 계층적 풀링을 통한 다중 수준 스파atiotemporal 특징 집약을 통해 3D 동작 인식 정확도를 향상시킨다.
• 복잡한 국소 이웃 학습에 의존하지 않고도 높은 성능을 유지할 수 있는 확장성 있고 효율적인 아키텍처를 개발한다.

제안 방법

• 내 프레임 외관 인코딩 모듈에서 각 포인트 클라우드 프레임을 독립적으로 처리하여 병렬로 정적 공간 특징을 추출한다.
• 시간에 따른 외관 변화를 나타내는 프레임 수준의 특징 벡터 시퀀스를 생성한다.
• 특징 벡터 시퀀스에 시간적 위치 인코딩을 적용하여 시간 순서와 상대적 시간을 유지한다.
• 외 프레임 운동 인코딩 모듈에서 계층적 피라미드 풀링 전략을 사용하여 장거리 시간적 의존성을 효율적으로 포착한다.
• 네트워크의 다양한 단계에서 유도된 다중 수준 특징을 집약하여 최종 분류 전에 스파atiotemporal 표현을 풍부하게 한다.
• 표준 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 3D 동작 인식을 위해 훈련시킨다.

실험 결과

연구 질문

• RQ1 병렬 처리 아키텍처가 공간-시간 국소 이웃 기반 기존 모델보다 계산 비용을 줄이며 3D 동작 인식에서 우수한 성능을 낼 수 있는가?
• RQ2 공간적 외관과 시간적 운동 모델링을 분리함으로써 포인트 클라우드 시퀀스 데이터에서 성능 향상이 어떻게 이루어지는가?
• RQ3 시간적 위치 인코딩과 계층적 풀링 전략이 명시적인 공간-시간 이웃 구조를 얼마나 효과적으로 대체할 수 있는가?
• RQ4 다중 수준 특징 집약이 포인트 클라우드 시퀀스 벤치마크에서 인식 정확도를 향상시키는 데 기여하는가?
• RQ5 제안된 방법이 복잡한 국소 이웃 계산에 의존하지 않고도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• SequentialPointNet는 공간-시간 국소 이웃을 사용하지 않고도 세 가지 공개 3D 동작 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 계산 비용이 많이 드는 이웃 구조 생성을 피함으로써 강력한 병렬성을 확보하여 효율적인 훈련과 추론이 가능하다.
• 계층적 피라미드 풀링 전략이 특징 시퀀스 내 장거리 시간적 의존성을 효과적으로 포착한다.
• 시간적 위치 인코딩이 시간 순서 모델링을 향상시켜 더 높은 인식 정확도에 기여한다.
• 다중 수준 특징 집약은 더 강력하고 구분력 있는 스파atiotemporal 표현을 이끈다.
• 제거 분석 결과, 외관 및 운동 모듈의 분리 설계가 통합 공간-시간 학습보다 성능 향상에 기여함을 확인한다.