[논문 리뷰] PointPWC-Net: A Coarse-to-Fine Network for Supervised and Self-Supervised Scene Flow Estimation on 3D Point Clouds

Wenxuan Wu, Zhiyuan Wang외 3명|arXiv (Cornell University)|2019. 11. 27.

Advanced Vision and Imaging참고 문헌 86인용 수 66

한 줄 요약

PointPWC-Net은 학습 가능한 포인트 기반 코스트 볼륨과 거친-세부(coarse-to-fine) 프레임워크를 도입하여 두 연속 3D 포인트 클라우드로 장면 흐름을 추정하고, KITTI에 대한 강한 일반화를 보이며 감독 학습 및 자기 지도 학습이 가능하다.

ABSTRACT

We propose a novel end-to-end deep scene flow model, called PointPWC-Net, on 3D point clouds in a coarse-to-fine fashion. Flow computed at the coarse level is upsampled and warped to a finer level, enabling the algorithm to accommodate for large motion without a prohibitive search space. We introduce novel cost volume, upsampling, and warping layers to efficiently handle 3D point cloud data. Unlike traditional cost volumes that require exhaustively computing all the cost values on a high-dimensional grid, our point-based formulation discretizes the cost volume onto input 3D points, and a PointConv operation efficiently computes convolutions on the cost volume. Experiment results on FlyingThings3D outperform the state-of-the-art by a large margin. We further explore novel self-supervised losses to train our model and achieve comparable results to state-of-the-art trained with supervised loss. Without any fine-tuning, our method also shows great generalization ability on KITTI Scene Flow 2015 dataset, outperforming all previous methods.

연구 동기 및 목표

• 대 큰 운동을 가진 3D 포인트 클라우드에서 직접 정확한 장면 흐름 추정을 촉진한다.
• Dense 4D 텐서 없이 포인트 클라우드에서 작동하는 학습 가능한 코스트 볼륨을 개발한다.
• 큰 모션을 효율적으로 다루기 위해 워핑과 업샘플링이 포함된 거칠-세부(coarse-to-fine) 아키텍처를 활용한다.
• Ground-truth 장면 흐름 라벨 없이도 모델을 학습시키기 위한 자기 지도 손실을 도입한다.
• FlyingThings3D와 KITTI Scene Flow 2015에서 최첨단 성능을 시연하고 제로샷 일반화가 강력함을 보인다.

제안 방법

• 방향 벡터 및 연결된 특징들에 대해 MLP를 이용하여 포인트-대-패치 비용을 계산하는 새로운 학습 가능한 코스트 볼륨 레이어를 도입한다.
• 입력 포인트에서 코스트 볼륨을 이산화하고 패치-대-패치 방식으로 포인트 기반 컨볼루션(PointConv)으로 비용을 집계한다.
• 각 포인트 클라우드에 대해 furthest point sampling과 PointConv를 사용하여 특징을 풍부하게 하는 4 레벨 피처 피라미드를 구성한다.
• 업샘플링과 워핑이 포함된 거칠-세부 프레임워크를 구현한다: 초기 흐름을 업샘플링하고, 첫 번째 클라우드를 워핑하며, 각 레벨에서 코스트 볼륨을 계산하고 정제된 흐름을 예측한다.
• Ground-truth 흐름 라벨 없이 학습하기 위해 Chamfer 거리, 스무스니스 및 라플라시안 정규화를 결합한 자기 지도 손실을 사용한다.
• 첫 번째 클라우드 피처, 코스트 볼륨, 업샘플링된 흐름을 소비하는 흐름 예측기를 제공하여 더 정교한 장면 흐름을 추정한다.

실험 결과

연구 질문

• RQ1 학습 가능한 포인트 기반 코스트 볼륨이 3D 포인트 클라우드에서의 장면 흐름 추정에 대해 전통적이거나 격자 기반 코스트 볼륨보다 우수할 수 있는가?
• RQ2 거칠-세부 워핑 접근이 모든 모션 탐색 없이도 포인트 클라우드의 큰 모션을 강건하게 처리하게 하는가?
• RQ3 자기 지도 손실(Chamfer, 스무스니스, Laplacian)이 Ground-truth 라벨 없이도 경쟁력 있는 포인트 클라우드 장면 흐름 모델을 학습시킬 수 있는가?
• RQ4 PointPWC-Net이 미세조정 없이 실제 KITTI Scene Flow 데이터에 얼마나 잘 일반화하는가?
• RQ5 비용 볼륨 설계, 워핑 및 업샘플링 구성요소의 기여를 보여주는 변인분해(ablations) 연구는 무엇을 밝히는가?

주요 결과

• 자체 지도 손실을 활용한 PointPWC-Net은 FlyingThings3D에서 Ground-truth 감독 없이도 경쟁력 있는 성능을 달성한다.
• FlyingThings3D에서 PointPWC-Net (Full)는 EPE3D 0.0588을 달성하고, EPE3D, Acc3DS, Acc3DR, Outliers3D에서 여러 베이스라인을 크게 능가한다.
• KITTI Scene Flow 2015에서 파인튜닝 없이도 PointPWC-Net (Self)은 EPE3D 0.2549m에 도달하여 FGR 및 CPD 대비 우수한 일반화 성능을 보인다.
• FlyingThings3D에서의 감독 학습 사전학습 후 KITTI 파인튜닝(Self 또는 Self+Self)으로 PointPWC-Net은 KITTI에서 5 cm 이하의 EPE3D를 달성하고 다수 메트릭에서 기존 방법을 능가한다.
• 학습 가능한 코스트 볼륨과 워핑이 전통적 코스트 볼륨 및 비 워핑 기법에 비해 성능을 크게 향상시키는 것으로 나타났다.
• 제안된 손실을 이용한 자기지도 학습은 KITTI에서 Ground-truth 라벨 없이도 경쟁력 있는 결과를 달성하며 심지어 지도학습 성능에 근접하는 경우도 있다.