[논문 리뷰] SeqXFilter: A Memory-efficient Denoising Filter for Dynamic Vision Sensors

Shasha Guo, Lei Wang외 4명|arXiv (Cornell University)|2020. 06. 02.

CCD and CMOS Imaging Sensors참고 문헌 20인용 수 5

한 줄 요약

SeqXFilter는 O(1) 공간 복잡도와 최소한의 계산으로 스팩트로-시간 상관관계를 탐지하는 메모리 효율적인 노이즈 제거 필터로, 고정 크기의 과거 이벤트 윈도우를 사용하여 동적 시각 센서(DVS)에 적합하다. 최적화된 함수를 통해 공간 거리를 분석함으로써 최신의 NNb 필터와 유사한 노이즈 제거 성능을 달성하면서도 메모리 사용량과 계산 오버헤드를 크게 줄였다.

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imaging sensors. However, they are sensitive to background activity (BA) events that are unwanted. There are some filters for tackling this problem based on spatio-temporal correlation. However, they are either memory-intensive or computing-intensive. We propose \emph{SeqXFilter}, a spatio-temporal correlation filter with only a past event window that has an O(1) space complexity and has simple computations. We explore the spatial correlation of an event with its past few events by analyzing the distribution of the events when applying different functions on the spatial distances. We find the best function to check the spatio-temporal correlation for an event for \emph{SeqXFilter}, best separating real events and noise events. We not only give the visual denoising effect of the filter but also use two metrics for quantitatively analyzing the filter's performance. Four neuromorphic event-based datasets, recorded from four DVS with different output sizes, are used for validation of our method. The experimental results show that \emph{SeqXFilter} achieves similar performance as baseline NNb filters, but with extremely small memory cost and simple computation logic.

연구 동기 및 목표

• 동적 시각 센서(DVS)를 위한 기존 스팩트로-시간 노이즈 제거 필터의 높은 메모리 및 계산 비용을 해결하기 위해.
• 노이즈 제거 성능을 희생시키지 않은 채 DVS 이벤트 필터링에서 메모리 사용량을 줄이기 위해.
• 과거 이벤트의 타임스탬프 대신 좌표만 저장하여 스팩트로-시간 상관관계를 활용하는 대안적 방법을 탐색하기 위해.
• 현재 이벤트와 과거 이벤트 간의 공간 상관관계를 측정하기 위한 최적의 함수를 특정하여 실제 이벤트와 배경 활동을 가장 잘 구분하기 위해.
• 다양한 출력 크기와 노이즈 수준을 가진 다양한 DVS 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 타임스탬프 또는 픽셀 단위 메모리 대신, 최근 X개의 이벤트의 (x, y) 좌표만 저장하는 고정 크기의 과거 이벤트 윈도우를 유지한다.
• 현재 이벤트와 과거 윈도우 내 이벤트 간의 상대적 공간 거리를 사용하여 스팩트로-시간 상관관계를 추론하며, 이벤트 순서를 암묵적인 시간 정보로 간주한다.
• 다양한 수학적 함수를 공간 거리에 적용하여 상관관계 강도를 모델링하고, 실제 이벤트와 노이즈를 구분하는 데 최적의 함수를 식별한다.
• 스케일에 관계없이 일관된 임계값 설정을 가능하게 하기 위해 공간 거리를 정규화한다.
• 매번 새로운 이벤트가 도착할 때마다 가장 오래된 항목을 덮어쓰는 방식으로 과거 이벤트 윈도우를 업데이트하여 항상 O(1) 메모리 사용을 유지한다.
• 공간적 가까움에 대한 민감도를 제어하기 위해 임계값 매개변수 σ를 사용하며, 데이터셋과 노이즈 수준에 따라 조정된다.

실험 결과

연구 질문

• RQ1 DVS를 위한 노이즈 제거 필터가 기존의 NNb 필터와 유사한 성능을 달성하면서도 상당히 낮은 메모리 사용량을 확보할 수 있는가?
• RQ2 현재 이벤트와 과거 이벤트 간의 공간 상관관계를 모델링하기 위한 최적의 함수는 무엇인가? 이는 실제 이벤트와 노이즈를 가장 잘 구분할 수 있도록 해야 한다.
• RQ3 과거 이벤트 윈도우의 길이가 다양한 노이즈 조건 하에서 노이즈 제거 성능에 어떤 영향을 미치는가?
• RQ4 실제 DVS 데이터셋에서 노이즈 제거 정확도가 떨어지지 않도록 O(1) 공간 복잡도를 달성할 수 있는가?
• RQ5 다양한 출력 해상도와 노이즈 특성을 가진 다양한 DVS 센서에서 필터의 성능은 어떠한가?

주요 결과

• SeqXFilter는 네 가지 다양한 DVS 데이터셋에서 PSNR 및 SSIM 지표로 측정했을 때 기준 NNb 필터와 유사한 노이즈 제거 성능을 달성했다.
• 퍼텐트럼 데이터셋에서는 과거 이벤트 윈도우를 X=2에서 X=4로 늘임으로써 상단 우측 영역의 노이즈 픽셀이 감소하여 시각적 노이즈 제거 품질이 향상되었다.
• X=2 및 σ=0.04 조건에서 SeqXFilter는 기준값(bs1)에 가까운 PSNR1 값을 기록하여 강력한 성능 유사성을 입증했다.
• 노이즈가 적은 데이터셋에서는 σ 선택에 대한 민감도가 낮아졌고, 높은 노이즈 수준의 데이터셋에서는 더 큰 σ 값이 성능 저하를 초래했다.
• 이 방법은 O(1) 공간 복잡도를 달성했으며, 과거 이벤트 윈도우에 32·X 비트만 사용하여 DVS 해상도에 관계없이 2~4개 타임스탬프를 저장하는 것과 동일한 메모리 비용을 유발했다.
• 계산 비용은 매우 낮았으며, 각 이벤트당 단지 6회의 덧셈, 2회의 나눗셈, 2회의 비교, 2회의 쓰기 연산만 필요했고, 카운터 업데이트도 효율적이었다.