[논문 리뷰] ASAP-Net: Attention and Structure Aware Point Cloud Sequence Segmentation

Hanwen Cao, Yongyi Lu외 4명|arXiv (Cornell University)|2020. 08. 12.

3D Shape Modeling and Analysis참고 문헌 40인용 수 8

한 줄 요약

ASAP-Net는 포인트 클라우드 시퀀스 분할을 위한 새로운 주의 메커니즘과 구조 인식 모듈(ASAP)을 제안하며, 주의적 시간 임베딩 레이어를 통해 프레임 간 국소 특징을 융합하고, 시공간 상관관계 전략을 통해 시간적 일관성을 강제함으로써 시공간 특징 학습을 향상시킨다. 이 방법은 다양한 백본과 통합되었을 때 Synthia 및 SemanticKITTI 데이터셋에서 mIoU를 3.4에서 15.2 포인트 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent works of point clouds show that mulit-frame spatio-temporal modeling outperforms single-frame versions by utilizing cross-frame information. In this paper, we further improve spatio-temporal point cloud feature learning with a flexible module called ASAP considering both attention and structure information across frames, which we find as two important factors for successful segmentation in dynamic point clouds. Firstly, our ASAP module contains a novel attentive temporal embedding layer to fuse the relatively informative local features across frames in a recurrent fashion. Secondly, an efficient spatio-temporal correlation method is proposed to exploit more local structure for embedding, meanwhile enforcing temporal consistency and reducing computation complexity. Finally, we show the generalization ability of the proposed ASAP module with different backbone networks for point cloud sequence segmentation. Our ASAP-Net (backbone plus ASAP module) outperforms baselines and previous methods on both Synthia and SemanticKITTI datasets (+3.4 to +15.2 mIoU points with different backbones). Code is availabe at https://github.com/intrepidChw/ASAP-Net

연구 동기 및 목표

• 동적인 환경에서 시공간적 의존성을 효과적으로 모델링하여 포인트 클라우드 시퀀스 분할 성능을 향상시키기 위해.
• 신뢰도와 노이즈 수준이 다양한 프레임 간 특징 융합의 과제를 해결하기 위해.
• 순서가 정해지지 않은 동적 포인트 분포에도 불구하고 강력한 포인트 상관관계를 가능하게 하기 위해.
• 기존 정적 포인트 클라우드 분할 파ip라인에 쉽게 통합될 수 있는 유연한 모듈을 설계하기 위해.
• 다양한 백본 네트워크와 데이터셋에 걸쳐 일반화 능력을 입증하기 위해.

제안 방법

• 학습 가능한 주의 가중치를 사용해 정보가 많은 프레임을 우선시하는 방식으로, 다중 프레임의 국소 특징을 적응적으로 융합하는 주의적 시간 임베딩 레이어를 도입한다.
• 동적이고 주의 기반의 그룹화 메커니즘을 사용해 공간과 시간을 기반으로 포인트를 그룹화하는 시공간 상관관계 전략을 제안하여 구조적 일관성을 유지한다.
• 세밀한 표현력을 향상시키기 위해 강력한 중심 포인트 특징을 추출하기 위해 다중 척도 국소 특징 집합(LSA) 블록을 활용한다.
• PointNet++ 및 SqueezeSegV2와 같은 다양한 정적 포인트 클라우드 백본과 호환되는 플러그인 형태의 ASAP 모듈을 설계한다.
• 계산 복잡도를 줄이면서도 시간적 일관성을 유지하기 위해 순환적 특징 융합 메커니즘을 사용한다.
• 이미지 기반 백본과 통합할 경우 2D에서 3D 포인트 클라우드 재구성 시 정보 손실을 최소화하기 위해 최대 풀링을 적용한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 동적 포인트 클라우드 시퀀스에서 특징 융합을 위해 정보가 많은 프레임을 효과적으로 우선시할 수 있는가?
• RQ2 로컬 구조를 유지하고 시간적 일관성을 강제하기 위해 시공간 상관관계를 어떻게 모델링할 수 있는가?
• RQ3 모듈러이고 주의 기반의 시간 융합 구성 요소가 다양한 백본 네트워크에서 분할 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 포인트 클라우드 시퀀스 분할에서 다양한 데이터셋과 백본 아키텍처에 걸쳐 일반화되는가?
• RQ5 입력 시퀀스 길이와 그룹화 반경이 모델 성능과 내성에 어떤 영향을 미치는가?

주요 결과

• ASAP-Net는 Synthia 및 SemanticKITTI 데이터셋에서 기준 모델 대비 mIoU를 3.4에서 15.2 포인트 향상시키며, 사용된 백본에 따라 성능 향상 폭이 달라진다.
• 시공간 상관관계 전략(STC ii)는 STC (i)를 능가하며, 3프레임 시퀀스를 사용할 경우 mIoU가 81.78에서 82.73으로 상승하여 제안된 상관관계 설계의 효과를 입증한다.
• 더 긴 입력 시퀀스를 사용할수록 성능 향상이 이루어지며, mIoU가 3프레임일 때 82.73에서 6프레임일 때 83.00으로 상승하여 시간적 맥락을 효과적으로 활용함을 시사한다.
• PointNet++의 성능은 79.35에서 83.00 mIoU로 크게 향상되었지만, SqueezeSegV2는 아키텍처의 호환성 문제와 2D 재구성 과정에서의 정보 손실로 인해 성능 향상 폭이 작다.
• SqueezeSegV2에서 트럭 및 기둥 클래스의 실패 케이스는 LSA 블록 내 다중 척도 그룹화를 통해 완화되었으며, 이로 인해 해당 클래스의 mIoU가 향상되었다.
• 절단 분석 결과, 주의적 시간 임베딩과 시공간 상관관계 구성 요소가 성능 향상에 모두 필수적임을 확인하였으며, STC (ii)는 STC (i)보다 더 뛰어난 시간적 일관성을 제공한다.