[논문 리뷰] Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras

R. Wes Baldwin, Mohammed Almatrafi외 2명|arXiv (Cornell University)|2020. 03. 18.

Advanced Memory and Neural Computing참고 문헌 47인용 수 4

한 줄 요약

이 논문은 실세계 뉴로모픽 카메라 이벤트의 공간-시간 레이블인 이벤트 확률 마스크(Event Probability Mask, EPM)를 소개한다. EPM는 APS 강도 기울기와 IMU 운동 데이터를 기반으로 각 픽셀에서 이벤트 발생 가능성을 추정한다. 또한 이는 새로운 벤치마크 지표(RPMD)를 최소화하도록 훈련된 CNN 기반의 노이즈 제거 모델인 EDnCNN을 제안하며, 노이즈가 있는 데이터 대비 평균 148점의 RPMD 향상을 달성하고, 16개 시나리오 중 12개에서 통계적으로 유의미한 성능 향상을 보였다(p = 0.00248).

ABSTRACT

This paper presents a novel method for labeling real-world neuromorphic camera sensor data by calculating the likelihood of generating an event at each pixel within a short time window, which we refer to as "event probability mask" or EPM. Its applications include (i) objective benchmarking of event denoising performance, (ii) training convolutional neural networks for noise removal called "event denoising convolutional neural network" (EDnCNN), and (iii) estimating internal neuromorphic camera parameters. We provide the first dataset (DVSNOISE20) of real-world labeled neuromorphic camera events for noise removal.

연구 동기 및 목표

• 실세계 뉴로모픽 카메라 데이터에서 노이즈 분포가 알려지지 않은 상황에서 이벤트 노이즈 제거에 대한 신뢰할 수 있는 벤치마크가 부족한 문제를 해결하기 위해.
• 대규모 실세계 레이블 데이터셋(DVSNOISE20)과 이벤트 확률 마스크(EPM)를 통해 머신러닝 기반의 노이즈 제거를 가능하게 하기 위해.
• EPM를 노이즈 없는 이벤트의 대체 지표로 사용하여, 깊이 신경망 기반의 강력하고 데이터 기반의 DVS 이벤트 노이즈 제거 방법을 개발하기 위해.
• EPM 예측을 기반으로 최대우도추정법을 사용하여 내부 뉴로모픽 카메라 파라미터(예: 임계값)를 校정하기 위해.
• 노이즈 제거 성능의 정량적 평가를 위한 새로운 객관적 기준 지표인 상대적 타당도 측도(Denoising, RPMD)를 수립하기 위해.

제안 방법

• EPM는 짧은 시간 창 동안 각 픽셀에서 이벤트 생성의 로그우도를 추정하기 위해 APS 프레임의 공간적 강도 기울기와 IMU의 운동 데이터를 조합하여 계산된다.
• EPM는 실세계 이벤트에 대한 진정한 지표가 없음에도 불구하고 노이즈 없는 DVS 이벤트의 대체 지표로 기능하여, 노이즈 제거 모델의 지도학습을 가능하게 한다.
• EDnCNN은 입력 이벤트를 EPM 레이블과 비교하여 이벤트를 노이즈 또는 신호로 분류하는 이중 스트림 컨볼루션 신경망이다.
• 모델은 EPM에 비해 노이즈 제거 결과의 타당성을 수량화하는 RPMD 지표를 최소화하도록 훈련된다.
• 관측된 이벤트 데이터에 EPM 모델을 적합시켜 최대우도추정법을 사용하여 내부 DVS 임계값 파라미터를 校정한다.
• DVSNOISE20 데이터셋은 동기화된 APS, DVS, IMU 센서를 갖춘 DAVIS 카메라를 사용하여 수집되었으며, 16개의 실세계 시나리오에 대해 EPM 레이블이 포함되어 있다.

실험 결과

연구 질문

• RQ1 진정한 지표가 없을 때 실세계 뉴로모픽 카메라 데이터에서 이벤트 노이즈 제거 성능을 객관적으로 평가할 수 있는 방법은 무엇인가?
• RQ2 관측 가능한 센서 데이터를 기반으로 이벤트 생성 가능성을 예측할 수 있는 신뢰할 수 있는 데이터 기반 레이블(EPM)을 만들 수 있는가?
• RQ3 EPM 레이블을 기반으로 훈련된 딥러닝 모델(EDnCNN)이 기존의 수작업 또는 히ュ리스틱 기반 방법에 비해 노이즈 제거 성능을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 실세계 조건에서 시나리오 콘텐츠, 운동, 노이즈 수준의 변화에 대해 제안된 방법이 얼마나 강인한가?
• RQ5 EPM 프레임워크를 사용하여 자연 장면 데이터에서 내부 뉴로모픽 카메라 파라미터를 정확하게 추정할 수 있는가?

주요 결과

• EDnCNN은 원시 노이즈 데이터 대비 평균 148점의 RPMD 향상을 달성하여 뚜렷한 노이즈 제거 성능 향상을 보였다.
• EDnCNN은 FSAE, IE+TE, BAF, NN, NN2를 포함한 모든 베이스라인 방법보다 16개 시나리오 중 12개에서 성능이 뛰어나며, 윌코크슨 부호순위검정을 통해 통계적으로 유의미한 p-값 0.00248를 확보했다.
• 모의 데이터에서 노이즈 수준의 변화에 대해 강인한 성능을 보였으며, 배경 활동 노이즈가 증가함에도 불구하고 높은 성능를 유지했다.
• EDnCNN은 IE+TE나 BAF와 같은 방법보다 정성적으로 열등한 결과를 보였고, 가장자리 구조를 더 잘 유지하고 고립된 노이즈 이벤트를 더 효과적으로 제거했다.
• EPM 기반의 校정 방법은 내부 DVS 임계값을 성공적으로 추정하였으며, 모델이 물리적 센서 행동과 일관성을 유지함을 검증했다.
• EPM 레이블과 RPMD 벤치마크를 포함한 DVSNOISE20 데이터셋은 향후 뉴로모픽 노이즈 제거 알고리즘 평가 및 비교를 위한 새로운 기준을 제공한다.