[논문 리뷰] Event Camera Calibration of Per-pixel Biased Contrast Threshold

Ziwei Wang, Yonhon Ng외 2명|arXiv (Cornell University)|2020. 12. 17.

Advanced Memory and Neural Computing참고 문헌 30인용 수 14

한 줄 요약

이 논문은 이벤트 기반 카메라의 픽셀별 대trast 임계값 편향과 변동성을 이벤트 전용 및 이미지-이벤트 데이터를 사용하여 모델링하는 새로운 캘리브레이션 방법을 제안한다. 새로운 이벤트 생성 모델을 도입하고 오프라인 및 온라인 캘리브레이션에 선형 회귀를 적용함으로써, 특히 픽셀별 임계값 불일치와 노이즈를 다룰 때 기존 최고 수준의 방법들보다 강력한 강도 이미지 재구성 정확도를 확보한다.

ABSTRACT

Event cameras output asynchronous events to represent intensity changes with a high temporal resolution, even under extreme lighting conditions. Currently, most of the existing works use a single contrast threshold to estimate the intensity change of all pixels. However, complex circuit bias and manufacturing imperfections cause biased pixels and mismatch contrast threshold among pixels, which may lead to undesirable outputs. In this paper, we propose a new event camera model and two calibration approaches which cover event-only cameras and hybrid image-event cameras. When intensity images are simultaneously provided along with events, we also propose an efficient online method to calibrate event cameras that adapts to time-varying event rates. We demonstrate the advantages of our proposed methods compared to the state-of-the-art on several different event camera datasets.

연구 동기 및 목표

• 회로 수준의 편향과 제조 공차로 인한 이벤트 카메라의 픽셀별 대비 임계값 불일치 문제를 해결한다.
• 균일한 10% 임계값을 가정하는 대신 픽셀 특화된 임계값 변동성을 모델링하여 이벤트 기반 이미지 재구성 정확도를 향상시킨다.
• 강도 이미지 피드백을 활용하여 이벤트 전용 카메라(예: DVS128)와 하이브리드 이미지-이벤트 카메라(예: DAVIS, ATIS) 모두에 적용 가능한 캘리브레이션 방법을 개발한다.
• 시간에 따라 변화하는 이벤트 레이트에 적응할 수 있도록 실시간으로 파rameter를 조정하는 온라인 방법을 통해 실시간·적응형 캘리브레이션을 가능하게 한다.
• 픽셀별 편향과 임계값 변동성을 고려함으로써 기존 방법들에 비해 향상된 재구성 품질을 달성함을 입증한다.

제안 방법

• 픽셀별 편향 $b^{f p}$ 와 대비 임계값 $c^{f p}$ 를 포함하는 새로운 이벤트 생성 모델을 제안하여 픽셀 특화된 반응 특성을 허용한다.
• 직접 통합된 이미지와 기준 강도 이미지 간의 차이를 최소화함으로써, 이벤트 및 강도 이미지 데이터로부터 $b^{f p}$ 와 $c^{f p}$ 를 선형 회귀를 통해 추정한다.
• 이벤트 전용 및 이미지-이벤트 카메라 모두에 최적의 파라미터를 산출하기 위해 전체 데이터 배치를 사용하는 오프라인 캘리브레이션 방법(OffE, OffEI)을 구현한다.
• 최근 이벤트와 강도 이미지의 슬라이딩 윈도우를 사용하여 실시간으로 파라미터를 지속적으로 업데이트하는 온라인 캘리브레이션 방법(OnEI)을 개발한다.
• 추정된 $b^{f p}$ 와 $c^{f p}$ 를 사용해 이벤트를 직접 통합하여 강도 이미지를 재구성하고, DAVIS 카메라의 지상 진실 프레임과 비교한다.
• 안정적, 노이즈가 많은, 편향이 있는, 비활성인 4종류의 픽셀로 분류하여 파라미터 추정을 안내하고 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 회로 수준의 편향과 제조 공차는 이벤트 카메라의 픽셀별 대비 임계값에 어떤 영향을 미치는가?
• RQ2 편향과 임계값 분산을 고려한 픽셀 특화 이벤트 생성 모델이 이미지 재구성 정확도를 향상시킬 수 있는가?
• RQ3 시간에 따라 변화하는 이벤트 레이트를 갖는 동적인 환경에서 온라인 캘리브레이션의 성능은 오프라인 캘리브레이션보다 어떻게 다를까?
• RQ4 이벤트 전용 방법에 비해 이미지 피드백은 이벤트 카메라 캘리브레이션 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 캘리브레이션 방법은 기존 최고 수준의 방법들보다 이벤트로부터 강도 이미지를 재구성하는 데에서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 제안된 오프라인 캘리브레이션 방법(OffEI)은 온라인 방법(OnEI)보다 略적으로 더 높은 재구성 성능을 달성했으며, 이는 데이터셋 내 환경 조건이 일정했기 때문일 것이다.
• 온라인 캘리브레이션 방법(OnEI)은 세 가지 데이터셋 전역에서 [5]의 방법보다 뛰어난 성능을 보이며 시간에 따라 변화하는 이벤트 레이트에 대한 뛰어난 적응성을 입증했다.
• 이벤트 전용 캘리브레이션 방법(OffE)은 이미지 기반 방법보다 성능이 열 劣하지만, 세 데이터셋 중 두 개에서 [5]의 방법보다 뛰어나 성능을 보이며, 강도 이미지 없이도 실용 가능성을 입증했다.
• 캘리브레이션 이후 모든 데이터셋에서 루트 평균 제곱 오차(RMSE)가 감소하고, 신호 대 노이즈 비율(PSNR)과 구조적 유사도 지수(SSIM)가 증가하여 이미지 무결성 향상이 확인되었다.
• 이 방법은 영구적으로 강도가 0인 비활성 픽셀과 노이즈가 많은 픽셀과 같은 특수 픽셀 유형의 영향을 적절한 $b^{f p}$ 와 $c^{f p}$ 값 할당을 통해 성공적으로 식별하고 완화한다.
• 대비 임계값은 기본값인 10%에서 크게 벗어나 있으며, 일부 경우 15%까지 변동함을 확인하여 픽셀별 캘리브레이션의 필요성을 입증한다.