[논문 리뷰] CamLiFlow: Bidirectional Camera-LiDAR Fusion for Joint Optical Flow and Scene Flow Estimation

Haisong Liu, Tao Lu외 4명|arXiv (Cornell University)|2021. 11. 20.

Advanced Vision and Imaging참고 문헌 52인용 수 4

한 줄 요약

CamLiFlow는 조합된 광학 및 스냅샷 플로우 추정을 위한 종단 간, 이방향 카메라-LiDAR 융합 프레임워크를 제안한다. 모odal별 2D 및 3D 브랜치와 학습 가능한 대칭 융합 모듈(Bi-CLFM) 및 역깊이 스케일링을 사용하여 희박한 포인트 클라우드를 균형 잡는다. KITTI와 FlyingThings3D에서 각각 1/7 및 1/6의 파라미터로 최신 기준 성능을 달성하며, KITTI 스냅샷 플로우 벤치마크에서 1위를 기록한다.

ABSTRACT

In this paper, we study the problem of jointly estimating the optical flow and scene flow from synchronized 2D and 3D data. Previous methods either employ a complex pipeline that splits the joint task into independent stages, or fuse 2D and 3D information in an "early-fusion" or "late-fusion" manner. Such one-size-fits-all approaches suffer from a dilemma of failing to fully utilize the characteristic of each modality or to maximize the inter-modality complementarity. To address the problem, we propose a novel end-to-end framework, called CamLiFlow. It consists of 2D and 3D branches with multiple bidirectional connections between them in specific layers. Different from previous work, we apply a point-based 3D branch to better extract the geometric features and design a symmetric learnable operator to fuse dense image features and sparse point features. Experiments show that CamLiFlow achieves better performance with fewer parameters. Our method ranks 1st on the KITTI Scene Flow benchmark, outperforming the previous art with 1/7 parameters. Code is available at https://github.com/MCG-NJU/CamLiFlow.

연구 동기 및 목표

• 기존 방법이 조합된 광학 및 스냅샷 플로우 추정을 위해 조기/후기 융합 또는 모듈러 파이프라인을 사용하는 데서 비롯하는 한계를 해결하기 위해.
• 구조적 및 밀도적 차이가 있는 밀도 높은 2D 이미지 특징과 희박한 3D LiDAR 포인트 특징 간 효과적인 이방향 특징 융합을 가능하게 하기 위해.
• 모달별 아키텍처와 학습 가능한 융합 메커니즘을 활용해 상호 모달 간 보완성을 극대화함으로써 성능을 향상시키기 위해.
• 대칭적이고 다단계 융합 및 역깊이 스케일링을 통해 모델 복잡성을 줄이면서도 정확도를 유지하거나 향상시키기 위해.

제안 방법

• CamLiFlow는 PWC-Net과 포인트 기반 네트워크를 기반으로 한 별도의 2D 및 3D 브랜치를 사용하여 모달별 특징 추출 능력을 유지한다.
• 이중 방향 카메라-LiDAR 융합 모듈(Bi-CLFM)을 도입하여, 학습 가능한 가중치를 사용한 인터폴레이션 및 샘플링을 통해 양방향으로 학습 가능한 대칭 특징 융합을 가능하게 한다.
• Bi-CLFM는 인터폴레이션 과정에 2D 이미지 유사도 측정값을 통합하여, 겹치는 물체가 있는 장면에서의 강건성을 향상시킨다.
• 역깊이 스케일링(_IDS_)을 적용하여 깊이의 역수에 기반해 LiDAR 포인트를 비선형적으로 재스케일링함으로써 거리에 따른 포인트 밀도 균형을 맞추고 특징 학습을 향상시킨다.
• 융합은 특징 추출, 비용 볼륨, 플로우 디코딩의 다중 단계에서 수행되어 반복적 개선과 더 나은 다중 모달 정보 교환을 가능하게 한다.
• 프레임워크는 대칭적이고 학습 가능한 연산자를 사용해 종단 간으로 훈련되며, 이미지 및 포인트 브랜치 간 일관된 특징 상호작용을 보장한다.

실험 결과

연구 질문

• RQ1 다단계 이방향 융합 전략이 조기 또는 후기 융합보다 조합된 광학 및 스냅샷 플로우 추정에서 더 나은 성능을 내는가?
• RQ2 밀도가 다름에도 불구하고 일대일 대응이 없는 밀도 높은 2D 이미지 특징과 희박한 3D LiDAR 포인트 특징을 효과적으로 융합할 수 있는가?
• RQ3 융합 과정에 2D 이미지 유사도를 통합하면, 가림이 발생하는 복잡한 장면에서 강건성이 향상되는가?
• RQ4 역깊이 스케일링은 희박한 LiDAR 포인트 클라우드의 공간 분포 균형을 맞추어 특징 학습을 향상시키는가?
• RQ5 가벼운 종단 간 모델이 이전 방법보다 훨씬 적은 파라미터로 최신 기준 성능을 달성할 수 있는가?

주요 결과

• CamLiFlow는 KITTI 스냅샷 플로우 벤치마크에서 종단 간 오차 4.43%를 기록하여, 이전 최신 기준 방법보다 뛰어난 성능을 내며 파라미터 수의 1/7로 구현했다.
• FlyingThings3D에서 CamLiFlow는 RAFT-3D 대비 종단 오차를 48.4% 감소시켰으며, 파라미터 수는 1/6에 불과했다.
• 2D 유사도 측정값을 통합한 융합 인식 인터폴레이션 도입으로 EPE 2D는 2.30에서 2.18로 감소하고, ACC 1px는 83.3%에서 84.5%로 향상되었다.
• 역깊이 스케일링(_IDS_)은 LiDAR 전용 변형에서 EPE 3D에 2.7% 향상되고 ACC .05에 2.7 포인트 향상되어, 포인트 클라우드 균형 조절에 효과적임을 입증했다.
• 특징 추출, 비용 볼륨, 플로우 디코딩의 세 단계에서 특징 융합이 이루어질 경우 최고의 성능을 기록했으며, 조기/후기 융합 및 단일 단계 융합보다 뛰어났다.
• Tesla V100 GPU를 사용할 경우 960x540 이미지에서 추론 시간은 118ms이며, 포인트 브랜치가 가장 시간이 오래 걸리는 구성요소였다.