[논문 리뷰] Are High-Resolution Event Cameras Really Needed?

Daniel Gehrig, Davide Scaramuzza|arXiv (Cornell University)|2022. 03. 28.

Advanced Memory and Neural Computing인용 수 16

한 줄 요약

이 논문은 고해상도 이벤트 카메라가 저조도 및 고속 조건에서 진정으로 이점이 있는지 조사한다. 그 결과, 화소당 이벤트 레이트 감소와 낮은 시간적 노이즈로 인해 일반적으로 저해상도 센서가 고해상도 센서보다 더 뛰어난 성능을 보임을 밝혀냈다. 이 연구는 고해상도 카메라가 높은 대역폭 요구 사항에도 불구하고 높은 이벤트 밀도로 인해 도전적인 조건에서 성능이 떨어짐을 입증한다.

ABSTRACT

Due to their outstanding properties in challenging conditions, event cameras have become indispensable in a wide range of applications, ranging from automotive, computational photography, and SLAM. However, as further improvements are made to the sensor design, modern event cameras are trending toward higher and higher sensor resolutions, which result in higher bandwidth and computational requirements on downstream tasks. Despite this trend, the benefits of using high-resolution event cameras to solve standard computer vision tasks are still not clear. In this work, we report the surprising discovery that, in low-illumination conditions and at high speeds, low-resolution cameras can outperform high-resolution ones, while requiring a significantly lower bandwidth. We provide both empirical and theoretical evidence for this claim, which indicates that high-resolution event cameras exhibit higher per-pixel event rates, leading to higher temporal noise in low-illumination conditions and at high speeds. As a result, in most cases, high-resolution event cameras show a lower task performance, compared to lower resolution sensors in these conditions. We empirically validate our findings across several tasks, namely image reconstruction, optical flow estimation, and camera pose tracking, both on synthetic and real data. We believe that these findings will provide important guidelines for future trends in event camera development.

연구 동기 및 목표

• 고해상도 이벤트 카메라의 추세가 실제 조건에서 실질적인 이점을 제공하는지 조사하기 위해.
• 저조도 및 고속 조건에서 해상도, 이벤트 레이트, 작업 성능 간의 상호 교환 관계를 분석하기 위해.
• 이미지 복원, 광학 흐름, 카메라 자세 추적과 같은 후속 시각 작업에 대한 센서 해상도의 영향을 평가하기 위해.
• 저조도, 높은 속도 및 노이즈가 있는 조건에서 저해상도 이벤트 카메라가 더 나은 성능을 낼 수 있음을 경험적 및 이론적으로 입증하기 위해.
• 실제 응용 분야에 적합한 최적의 해상도 트레이드오프를 규명함으로써 향후 이벤트 카메라 설계를 안내하기 위해.

제안 방법

• 저자들은 세 가지 핵심 작업(이미지 복원, 광학 흐름 추정, 카메라 자세 추적)을 통해 합성 및 실세계 데이터를 기반으로 경험적 평가를 수행한다.
• 낮은 조도, 일광, 야간 조건에서 다양한 운동 속도를 가진 다수의 해상도(128×128에서 1280×1280까지)를 비교한다.
• 모델 기반 방법(예: 대trast 최적화, 광학적 흐름)과 학습 기반 방법(예: E-RAFT)을 모두 사용하여 알고리즘 유형 간 일반화 능력을 평가한다.
• 이벤트 레이트가 해상도에 따라 어떻게 변화하는지 이론적·경험적으로 분석하여, 저조도 및 고속 조건에서 해상도가 높아질수록 화소당 이벤트 생성 빈도가 증가함을 보여준다.
• 대역폭과 성능을 해상도 정규화된 종단점 오차(RNEPE)와 자세 추적에서 중앙값 위치 오차(mm)를 사용해 정량화한다.
• 노이즈가 있는 데이터로 학습한 결과의 영향을 평가하여, 학습 기반 모델이 야간 조건에 노출되었을 때 해상도의 열세를 보완할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 이벤트 카메라 해상도를 높일수록 모든 조도 및 운동 조건에서 성능이 일관되게 향상되는가?
• RQ2 화소당 이벤트 레이트는 해상도에 따라 어떻게 변화하며, 저조도 및 고속 조건에서 시간적 노이즈에 어떤 영향을 미치는가?
• RQ3 고해상도 이벤트 카메라는 이벤트 레이트 포화 및 타임스탬프 왜곡으로 인해 성능 저하에 더 민감한가?
• RQ4 학습 기반 방법은 노이즈가 많은 조건에서 고해상도 카메라의 성능 저하를 극복할 수 있는가? 만약 가능하면 어떤 학습 조건에서 가능한가?
• RQ5 실세계 응용 분야에서 작업 성능과 대역폭 간 최적의 해상도는 무엇인가?

주요 결과

• 저조도 및 고속 조건에서, 예를 들어 1280×1280 해상도 카메라의 RNEPE 값은 야간 설정에서 4.72에 달하는 반면, 240×240 해상도에서는 3.69로, 광학 흐름 추정에서 저해상도 카메라가 더 뛰어난 성능을 보였다.
• 고해상도 카메라는 화소당 이벤트 레이트가 현저히 높아져 저조도 및 고속 운동 조건에서 시간적 노이즈가 증가하고 내성적인 저항력이 떨어진다.
• 카펫 시퀀스의 경우, 야간 조건에서 2.4 m/s 속도로 이동할 때 중앙값 카메라 위치 오차는 1280×1280에서 0.617 mm에서 640×640에서 1.01 mm로 증가하여 해상도가 높아질수록 성능 저하가 발생함을 보여주었다.
• 대trast 최적화 기반 방법(CM)은 고속에서만 성능 저하를 보였지만, 광학 기반 방법(EPF)은 고해상도 센서를 사용할 경우 낮은 속도에서도 성능 저하가 발생했다.
• E-RAFT와 같은 학습 기반 방법은 이상적인 조건에서는 고해상도 카메라에서 더 나은 성능을 낼 수 있지만, 노이즈가 많은 환경에서는 심각하게 성능이 떨어지며, 이 경우 저해상도에서 더 나은 성능을 보였다.
• 노이즈가 많은 야간 데이터로 학습시킴으로써 학습 기반 모델이 해상도의 열세를 극복할 수 있었으며, 이는 데이터 분포가 모델의 강건성에 매우 중요함을 시사한다.