[논문 리뷰] MeteorNet: Deep Learning on Dynamic 3D Point Cloud Sequences

Xingyu Liu, Mengyuan Yan외 1명|arXiv (Cornell University)|2019. 10. 21.

Human Pose and Action Recognition참고 문헌 35인용 수 16

한 줄 요약

MeteorNet는 격자 양자화 없이도 원시 동적 3D 포인트 클라우드 시퀀스를 직접 처리하는 새로운 딥러닝 아키텍처로, 두 가지 그룹화 방법—직접 그룹화 및 체인 흐름 그룹화—를 통해 시공간 이웃 집합을 수행하여 액션 인식, 세분화, 스냅샷 플로우 추정에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 Synthia, KITTI, FlyingThings3D 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Understanding dynamic 3D environment is crucial for robotic agents and many other applications. We propose a novel neural network architecture called $MeteorNet$ for learning representations for dynamic 3D point cloud sequences. Different from previous work that adopts a grid-based representation and applies 3D or 4D convolutions, our network directly processes point clouds. We propose two ways to construct spatiotemporal neighborhoods for each point in the point cloud sequence. Information from these neighborhoods is aggregated to learn features per point. We benchmark our network on a variety of 3D recognition tasks including action recognition, semantic segmentation and scene flow estimation. MeteorNet shows stronger performance than previous grid-based methods while achieving state-of-the-art performance on Synthia. MeteorNet also outperforms previous baseline methods that are able to process at most two consecutive point clouds. To the best of our knowledge, this is the first work on deep learning for dynamic raw point cloud sequences.

연구 동기 및 목표

• 격자 기반 양자화를 피하고 그에 수반되는 오류를 최소화하는 동적 3D 포인트 클라우드 시퀀스를 위한 딥러닝 프레임워크 개발.
• 시간적 동역학을 가진 비정규적이고 비균일한 3D 포인트 클라우드 시퀀스에서의 학습 과제 해결.
• 각 포인트에 대해 효과적인 시공간 이웃을 구성함으로써 시간에 걸친 강력한 특징 학습 가능화.
• 액션 인식, 세분화, 스냅샷 플로우 추정과 같은 다양한 3D 인식 작업에서 기존 격자 기반 및 이중 프레임 방법을 초월하는 성능 확보.

제안 방법

• 공유 다층 퍼셉트론(MLP)과 최대 풀링을 사용해 시공간 이웃의 특징을 집계하는 학습 가능한 신경망 유닛인 Meteor 모듈을 제안.
• 두 가지 이웃 구성 전략 도입: 직접 그룹화(시간에 따라 반경 증가) 및 체인 흐름 그룹화(사전 추정된 스냅샷 플로우를 사용해 프레임 간 운동 추적).
• 점차적으로 더 큰 시공간 맥락으로부터 정보를 계층적으로 집계하기 위해 다수의 Meteor 모듈을 스택.
• 바이너리 격자로 변환하지 않고 원시 포인트 클라우드를 직접 처리해 격자 기반 방법의 본질적 양자화 오류 방지.
• 이웃 포인트 간에 공유 MLP를 사용하고 최대 풀링을 적용해 국소 특징을 각 포인트 표현으로 집계.
• 표준 역전파를 사용한 엔드 투 엔드 훈련을 통해 특징 학습과 최종 작업 헤드의 공동 최적화 가능.

실험 결과

연구 질문

• RQ1 격자 양자화 없이도 딥 네트워크가 원시 비정규 3D 포인트 클라우드 시퀀스에서 효과적으로 표현을 학습할 수 있는가?
• RQ2 직접 그룹화와 체인 흐름 그룹화와 같은 다양한 시공간 이웃 구성 전략이 성능 및 효율성에 미치는 영향은 무엇인가?
• RQ3 하나의 아키텍처로 액션 인식, 세분화, 스냅샷 플로우 추정과 같은 다양한 3D 인식 작업에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 입력 프레임 수를 늘릴수록 동적 3D 시퀀스 이해 작업의 성능 향상이 이루어지는가?
• RQ5 체인화 과정에서 희박한 포인트 클라우드와 플로우 추정 오차 전파 문제를 어떻게 처리하는가?

주요 결과

• MeteorNet는 Synthia 세분화 벤치마크에서 이중 프레임로만 처리하는 기존 방법들을 능가하는 최신 기술 수준 성능 확보.
• KITTI 스냅샷 플로우 데이터셋에서 MeteorNet-flow는 네 개의 입력 프레임으로 평균 종점 오차(EPE) 0.251을 기록하여 FlowNet3D의 0.287를 초월.
• 체인 흐름 그룹화 변종은 KITTI에서 더 낮은 평균 EPE(0.251)를 기록했고, 직접 그룹화 변종은 더 낮은 표준편차(0.210)를 보여 더 높은 안정성 확보.
• MSRAction3D 액션 인식 데이터셋에서 기존 베이스라인을 능가해 인간 동작 시퀀스에 대한 강력한 일반화 능력 입증.
• 입력 프레임 수가 늘어날수록 성능이 지속적으로 향상되어 모델이 더 긴 시간 맥락을 활용하는 데서 유의미한 이점이 있음을 확인.
• 시각화 결과는 특히 체인 흐름 그룹화를 사용할 경우 예측된 스냅샷 플로우가 진짜 값과 잘 일치함을 보여, 정확한 운동 모델링 가능.