[논문 리뷰] Spatial-Temporal Transformer for 3D Point Cloud Sequences

Yimin Wei, Hao Liu외 3명|arXiv (Cornell University)|2021. 10. 19.

3D Shape Modeling and Analysis참고 문헌 40인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드 시퀀스를 위한 공간-시간 트랜스포머인 PST²를 제안한다. PST²는 프레임 간 상호작용을 모델링하기 위해 공간-시간 자기주의(Stochastic Temporal Attention, STSA) 모듈과 특징 추출 과정에서 손실된 공간 해상도를 복구하기 위해 해상도 임베딩(Resolution Embedding, RE) 모듈을 통합한다. PST²는 4D 세분화 및 3D 동작 인식에서 최신 기준 성능을 달성하며, SemanticKITTI에서 최대 3.2% mIoU 향상과 MSR-Action3D에서 최대 5.39% 정확도 향상을 기록한다.

ABSTRACT

Effective learning of spatial-temporal information within a point cloud sequence is highly important for many down-stream tasks such as 4D semantic segmentation and 3D action recognition. In this paper, we propose a novel framework named Point Spatial-Temporal Transformer (PST2) to learn spatial-temporal representations from dynamic 3D point cloud sequences. Our PST2 consists of two major modules: a Spatio-Temporal Self-Attention (STSA) module and a Resolution Embedding (RE) module. Our STSA module is introduced to capture the spatial-temporal context information across adjacent frames, while the RE module is proposed to aggregate features across neighbors to enhance the resolution of feature maps. We test the effectiveness our PST2 with two different tasks on point cloud sequences, i.e., 4D semantic segmentation and 3D action recognition. Extensive experiments on three benchmarks show that our PST2 outperforms existing methods on all datasets. The effectiveness of our STSA and RE modules have also been justified with ablation experiments.

연구 동기 및 목표

• 4D 세분화 및 3D 동작 인식과 같은 작업을 위해 흩어진, 순서가 없는 3D 포인트 클라우드 시퀀스의 공간-시간 역학을 모델링하는 과제를 해결한다.
• 기존의 모든 이전 프레임에 대해 순환 또는 전체 역사에 대한 자기주의 기반의 특징 융합 방법에서 발생하는 정보 중복 문제를 해결한다.
• 에코더-디코더 아키텍처에서 발생하는 해상도 손실을 줄이기 위해 이웃 특징 집합을 통한 특징 맵 해상도 향상 기법을 제안한다.
• 기존 정적 포인트 클라우드 네트워크의 아키텍처를 대대적으로 수정하지 않고도 성능을 향상시킬 수 있는 플러그인 모듈을 설계한다.

제안 방법

• 자기주의를 활용해 인접 프레임 간 특징을 적응적으로 융합하는 공간-시간 자기주의(Spatio-Temporal Self-Attention, STSA) 모듈을 도입하여, RNN이나 전체 이력에 대한 자기주의 대비 중복을 감소시킨다.
• 학습된 자기주의 가중치를 사용해 이웃 간 특징을 집계함으로써 특징 해상도를 향상시키는 해상도 임베딩(Resolution Embedding, RE) 모듈을 설계한다.
• 두 단계 프레임워크에 STSA와 RE를 통합한다: 특징 추출을 위한 세트 추상화, 다음으로 공간-시간 패치 형성 및 STSA 처리를 통한 상황 인식 모델링.
• 3D 동작 인식을 위한 MeteorNet에 STSA 모듈을 적용하여 포인트 기반 아키텍처에서 시간적 모델링을 가능하게 한다.
• 학습 안정성과 강건성을 향상시키기 위해 STSA에 잔차 연결과 레이어 정규화를 적용한다.
• 초기 특징 추출 및 시드 포인트 선택을 위해 포인트 기반의 MLP와 가장 먼 점 샘플링(Farthest Point Sampling, FPS)을 활용한다.

실험 결과

연구 질문

• RQ1 자기주의 기반의 모델링 방식이 이전 프레임 융합에서 발생하는 중복을 줄이며, 역동적인 3D 포인트 클라우드 시퀀스에서 공간-시간적 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 이웃 특징 집합을 통한 해상도 복구 방식이 포인트 클라우드 시퀀스의 세분화 정확도 향상에 어느 정도 기여하는가?
• RQ3 4D 세분화 및 3D 동작 인식 벤치마크에서 제안된 PST² 프레임워크는 최신 기준 방법 대비 어떤 성능을 보이는가?
• RQ4 Ablation 연구를 통해 STSA 및 RE 모듈이 전체 성능에 기여하는 개별 기여도는 어떠한가?

주요 결과

• SemanticKITTI 데이터셋에서 PST²는 PointNet++(PNv2) 대비 16.4% mIoU 향상을 기록하며 뚜렷한 성능 향상을 입증한다.
• SemanticKITTI에서 PST²는 최신 기준인 ASAP-Net을 3.2% mIoU 높은 성능으로 초월하며, 19개 카테고리 중 15개에서 성능 향상을 기록한다.
• 해상도 임베딩(RE) 모듈은 SemanticKITTI에서 4.1% mIoU 향상을 기여하며, 지형 카테고리에선 최대 38.9% 향상까지 기록한다.
• STSA 모듈은 PNv2 대비 mIoU를 12.3% 향상시키며, 지형 카테고리에선 최대 36.5% 향상되고, 자동차 카테고리에선 최대 29.7% 향상된다.
• MSR-Action3D에서 PST²는 8개 입력 프레임에서 5.39% 정확도 향상을 기록하며, 16개 프레임에서는 89.22% mAcc를 달성하여 MeteorNet을 능가한다.
• Ablation 연구 결과, STSA 및 RE 모듈이 모두 모든 카테고리에서 성능 향상을 독립적으로 기여하며, 특히 복잡하거나 희박한 클래스인 지형 및 오토바이 기사 카테고리에서 가장 큰 향상을 기록한다.