[논문 리뷰] FlowNet3D: Learning Scene Flow in 3D Point Clouds

Xingyu Liu, Charles R. Qi외 1명|arXiv (Cornell University)|2018. 06. 04.

Advanced Vision and Imaging참고 문헌 38인용 수 22

한 줄 요약

FlowNet3D는 기존의 2차원 이미지 표현을 거치지 않고, 원시 포인트 클라우드에서 직접적으로 엔드 투 엔드 방식으로 3D 시(scene) 플로우를 추정하는 딥러닝 아키텍처이다. 이는 움직임 표현을 학습하고 특징을 전파하기 위해 새로운 플로우 임bedding 레이어와 세트 업컨볼루션(upsampling) 레이어를 사용한다. 유일하게 합성 데이터인 FlyingThings3D를 사용해 훈련된 FlowNet3D는 실제 KITTI 라이다 스캔으로도 강건하게 일반화되며, 비딥러닝 기반 기준선을 능가하고 최신 기법들과 경쟁 가능한 성능을 달성한다.

ABSTRACT

Many applications in robotics and human-computer interaction can benefit from understanding 3D motion of points in a dynamic environment, widely noted as scene flow. While most previous methods focus on stereo and RGB-D images as input, few try to estimate scene flow directly from point clouds. In this work, we propose a novel deep neural network named $FlowNet3D$ that learns scene flow from point clouds in an end-to-end fashion. Our network simultaneously learns deep hierarchical features of point clouds and flow embeddings that represent point motions, supported by two newly proposed learning layers for point sets. We evaluate the network on both challenging synthetic data from FlyingThings3D and real Lidar scans from KITTI. Trained on synthetic data only, our network successfully generalizes to real scans, outperforming various baselines and showing competitive results to the prior art. We also demonstrate two applications of our scene flow output (scan registration and motion segmentation) to show its potential wide use cases.

연구 동기 및 목표

• 2차원 이미지 표현을 거치지 않고 포인트 클라우드에서 직접 엔드 투 엔드로 3D 시나리오 플로우 추정을 가능하게 하기 위해.
• 스테레오 또는 RGB-D 데이터에 의존하지 않고 원시 포인트 클라우드 입력을 처리할 수 있는 딥러닝 기반 3D 시나리오 플로우 방법의 부족을 보완하기 위해.
• 시간에 따라 포인트 클라우드 간의 공간적 및 기하학적 관계를 효과적으로 모델링할 수 있는 학습 가능한 레이어를 설계하기 위해.
• 합성 데이터에서 훈련된 모델이 실세계 라이다 스캔으로 일반화될 수 있음을 보여주어 실제 레이블이 있는 데이터에 대한 의존도를 줄이기 위해.
• 스캔 정합 및 운동 세그멘테이션과 같은 고수준 3D 비전 작업에 대해 시나리오 플로우의 유용성을 검증하기 위해.

제안 방법

• 움직임 인코딩을 위해 기하학적 유사성과 공간적 유사성을 통합하여 두 연속된 포인트 클라우드 간의 포인트를 상관관계화하는 새로운 플로우 임베딩 레이어를 제안한다.
• 공간적 및 특징 기반 어텐션을 사용해 한 포인트 세트에서 다른 포인트 세트로 특징을 전파하는 데 학습 가능한 세트 업컨볼루션(set upconv) 레이어를 도입한다. 이는 정보 기반 업샘플링을 가능하게 한다.
• 공유된 인코더-디코더 아키텍처 내에서 원시 포인트 클라우드로부터 계층적 특징과 운동 임베딩을 동시에 추출하기 위해 PointNet++ 백본을 변형 적용한다.
• 정확한 플로우 예측을 위해 국소적 및 전역적 맥락을 모두 캡처하기 위한 다중 척도 특징 집합 전략을 사용한다.
• 두 개의 스트림 인코더를 사용해 연속된 두 프레임의 입력 포인트 클라우드를 처리하고, 첫 번째 프레임의 각 포인트에 대해 밀도 높은 3D 플로우 벡터를 생성한다.
• 세트 업컨볼루션 레이어를 사용해 반복적인 정밀화를 통해 플로우 예측을 향상시키는 학습 가능한 정밀화 헤드를 적용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 2차원 이미지 입력에 의존하지 않고 원시 3차원 포인트 클라우드에서 직접 엔드 투 엔드로 3D 시나리오 플로우를 추정할 수 있는가?
• RQ2 합성 데이터에서만 훈련된 모델이 피니팅 없이도 실제 라이다 스캔으로 효과적으로 일반화될 수 있는가?
• RQ3 제안된 플로우 임베딩 레이어와 세트 업컨볼루션 레이어는 표준 보간법이나 수작업으로 만든 특징에 비해 운동 추정 성능을 어떻게 향상시키는가?
• RQ4 FlowNet3D가 추정한 시나리오 플로우는 스캔 정합 및 운동 세그멘테이션과 같은 고수준 3D 비전 작업에 강력한 신호로 기여할 수 있는가?
• RQ5 FlowNet3D는 합성 및 실세계 벤치마크에서 이전 기법들에 비해 어떤 성능을 보이는가?

주요 결과

• FlyingThings3D 합성 벤치마크에서 FlowNet3D는 이전 최고 성능 기법 [31] 대비 3D 종단 오차(EPE)를 63% 감소시켰다.
• KITTI 실 라이다 벤치마크에서 FlowNet3D는 ICP와 같은 비딥러닝 기반 기준선을 능가하며, 특히 실데이터에서 피니팅을 거친 후에는 최신 기법들과 경쟁 가능한 성능을 달성했다.
• 합성 데이터에서만 훈련된 상태에서도 FlowNet3D는 실스캔으로 강건하게 일반화되며, 강력한 제로샷 일반화 능력을 입증했다.
• 100개의 KITTI 프레임에서 피니팅을 거친 후, FlowNet3D는 테스트 세트에서 워핑 오차 EPE 0.125를 기록하며 ICP 및 시나리오 플로우 전용 기준선을 모두 능가하는 최고의 성능을 달성했다.
• 모델은 ICP가 局부 최소값에 갇힐 경우 실패하는 상황에서도 강력한 부분 스캔 정합을 성공적으로 수행했으며, 정량적 및 정성적 결과를 통해 이를 입증했다.
• FlowNet3D의 시나리오 플로우 출력을 활용한 운동 세그멘테이션은 이동 중인 차량, 보행자, 정적 물체를 명확히 분리했으며, 의미적 운동 이해를 위한 유용성을 입증했다.