[논문 리뷰] E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning

Xiuhong Lin, Changjie Qiu외 7명|arXiv (Cornell University)|2023. 11. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

E2PNet는 이벤트 데이터에서 포인트 클라우드로의 레지지스트레이션을 위한 첫 번째 학습 기반 방법이다. 이는 희박하고 비균일한 이벤트 데이터를 구조적인 2차원 격자형 특징 텐서로 변환하는 이벤트 포인트 투 텐서(EP2T) 네트워크를 도입함으로써, 기존의 RGB 기반 2D-3D 레지지스트레이션 프레임워크를 직접 활용할 수 있게 하였다. 이로 인해 기존 RGB 기반 방법에 비해 극단적인 조명 조건과 운동 왜곡 상황에서도 뛰어난 정확도와 강건성을 달성하였다.

ABSTRACT

Event cameras have emerged as a promising vision sensor in recent years due to their unparalleled temporal resolution and dynamic range. While registration of 2D RGB images to 3D point clouds is a long-standing problem in computer vision, no prior work studies 2D-3D registration for event cameras. To this end, we propose E2PNet, the first learning-based method for event-to-point cloud registration. The core of E2PNet is a novel feature representation network called Event-Points-to-Tensor (EP2T), which encodes event data into a 2D grid-shaped feature tensor. This grid-shaped feature enables matured RGB-based frameworks to be easily used for event-to-point cloud registration, without changing hyper-parameters and the training procedure. EP2T treats the event input as spatio-temporal point clouds. Unlike standard 3D learning architectures that treat all dimensions of point clouds equally, the novel sampling and information aggregation modules in EP2T are designed to handle the inhomogeneity of the spatial and temporal dimensions. Experiments on the MVSEC and VECtor datasets demonstrate the superiority of E2PNet over hand-crafted and other learning-based methods. Compared to RGB-based registration, E2PNet is more robust to extreme illumination or fast motion due to the use of event data. Beyond 2D-3D registration, we also show the potential of EP2T for other vision tasks such as flow estimation, event-to-image reconstruction and object recognition. The source code can be found at: https://github.com/Xmu-qcj/E2PNet.

연구 동기 및 목표

• 교차 모odal 2D-3D 레지지스트레이션 분야에서 이벤트에서 포인트 클라우드로의 레지지스트레이션을 위한 학습 기반 방법의 부족을 해결하기 위해.
• 희박하고 비균일한 이벤트 데이터—공간적으로 희박하지만 시간적으로 빈도가 높은 데이터—를 효과적으로 표현하여 격자형 특징 텐서로 인코딩할 수 있는 표현 네트워크를 설계하기 위해.
• 기존의 RGB 기반 2D-3D 레지지스트레이션 프레임워크에 하이퍼파라미터나 학습 절차를 수정하지 않고도 직접 통합할 수 있도록 하기 위해.
• 기존 RGB 카메라가 실패하는 과도한 조도 및 운동 왜곡과 같은 극단적 조건에서도 강건성을 향상시키기 위해.
• EP2T 모듈이 레지지스트레이션 외의 다양한 비전 작업, 예를 들어 옵티컬 플로우, 이벤트에서 이미지 복원, 객체 인식 등에 어떻게 활용될 수 있는지 보여주기 위해.

제안 방법

• 이벤트 데이터를 시공간 포인트 클라우드로 간주하고, 공간적 차원과 시간적 차원에 대해 별도의 샘플링 및 정보 집약을 적용하는 새로운 이벤트 표현 네트워크인 EP2T를 제안한다.
• 이벤트 데이터의 비균일한 공간적 및 시간적 분포를 고려해, 특징을 적응적으로 가중하는 시공간 분리 주의 메커니즘을 활용한다.
• 점군 처리 기반의 PointNet++ 아키텍처를 활용하며, 적응형 샘플링을 통해 이벤트 포인트 클라우드에서 局부 특징을 추출함으로써 계산 비용을 줄이고 시공간 세부 정보를 유지한다.
• 결과로 얻어진 특징 표현을 2차원 격자형 텐서로 변환하여, 기존의 LCD와 같은 2D-3D 레지지스트레이션 프레임워크와 즉각적인 호환성을 확보한다.
• 기존 SLAM 데이터셋에서 새로운 E2P 데이터셋(MVSEC-E2P)을 생성하기 위한 데이터 구축 파이프라인을 도입하여, 엔드 투 엔드 학습을 가능하게 하였다.
• EP2T 샘플링 포인트의 수를 조절하여 정확도와 효율성 사이의 민감한 트레이드오프를 유연하게 제어할 수 있으며, 최적의 성능는 512개의 포인트에서 달성된다.

실험 결과

연구 질문

• RQ1 희박하고 비균일한 이벤트 데이터를 구조적인 2차원 특징 텐서로 효과적으로 표현할 수 있는가? 이를 통해 기존 RGB 기반 2D-3D 레지지스트레이션 프레임워크를 이벤트에서 포인트 클라우드로의 레지지스트레이션에 활용할 수 있는가?
• RQ2 공간적으로 희박하지만 시간적으로 빈도가 높은 이벤트 데이터의 시공간 비균일성을 어떻게 모델링할 수 있는가? 이를 통해 중요한 운동 및 외관 세부 정보를 유지할 수 있는가?
• RQ3 극단적인 조도 및 운동 왜곡 상황에서 이벤트 기반 2D-3D 레지지스트레이션은 기존 RGB 기반 방법보다 성능이 뛰어나게 되는가?
• RQ4 EP2T 모듈은 레지지스트레이션 외의 다른 비전 작업, 예를 들어 옵티컬 플로우, 이벤트에서 이미지 복원 등에 얼마나 일반화될 수 있는가?
• RQ5 EP2T 모듈의 샘플링 포인트 수를 변화시킬 경우 정확도와 효율성 사이의 트레이드오프는 어떻게 변화하는가? 실시간 구현을 위한 최적화 전략은 무엇인가?

주요 결과

• MVSEC-E2P 데이터셋에서 E2PNet은 3.606°의 회전 오차와 0.821m의 이동 오차를 기록하여, RGB 기반의 LCD(6.336°, 1.347m) 및 수작업으로 구성된 이벤트 텐서라이제이션 방법보다 뚜렷한 성능 향상을 보였다.
• 하이브리드 E-통계 기반 베이스라인(세 가지 수작업 방법의 조합)은 4.968°의 회전 오차와 1.297m의 이동 오차를 기록했지만, E2PNet은 각각 3.606°와 0.821m로 개선되었다.
• 512개의 EP2T 샘플링 포인트에서 E2PNet은 65.51ms의 추론 시간과 2.99GB의 메모리 사용량을 기록하였으며, 이는 다른 베이스라인과 유사한 수준이지만 더 높은 정확도를 유지하였다.
• EP2T 샘플링 포인트 수를 늘릴수록 정확도는 향상되나(예: 16,384개 포인트 시 3.247°의 회전 오차), 메모리 및 시간 비용도 증가하여 명확한 효율성-정확도 트레이드오프가 존재함을 시사하였다.
• EP2T 모듈은 레지지스트레이션 외에도 옵티컬 플로우 추정, 이벤트에서 이미지 복원, 객체 인식 등의 작업에서 뛰어난 성능을 보이며 일반화 능력이 뛰어나다.
• 제안된 E2P 데이터셋 구축 파이프라인은 기존 SLAM 데이터셋에서 정확하고 대규모의 E2P 데이터셋을 생성할 수 있게 하여, 향후 이벤트 기반 3D 인식 분야의 연구를 촉진한다.