[논문 리뷰] A Noise Filter for Dynamic Vision Sensors using Self-adjusting Threshold

Shasha Guo, Ziyang Kang외 5명|arXiv (Cornell University)|2020. 04. 08.

Advanced Memory and Neural Computing참고 문헌 18인용 수 5

한 줄 요약

이 논문은 동적 시각 센서(DVS)를 위한 저복잡도 노이즈 필터인 GF를 제안한다. 이는 전역적인 시공간 정보를 활용하여 실제 이벤트와 배경 활동(BA) 이벤트를 구분함으로써 임의의 양성(false positives)과 계산 오버헤드를 감소시킨다. 이 방법은 기준 필터인 최근접 이웃 및 가우시안 기반 방법보다 더 뛰어난 프레임 명도와 더 빠른 처리 속도를 달성한다.

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imagers. However, they are sensitive to background activity (BA) events which are unwanted. we propose a new criterion with little computation overhead for defining real events and BA events by utilizing the global space and time information rather than the local information by Gaussian convolution, which can be also used as a filter. We denote the filter as GF. We demonstrate GF on three datasets, each recorded by a different DVS with different output size. The experimental results show that our filter produces the clearest frames compared with baseline filters and run fast.

연구 동기 및 목표

• 동적 시각 센서(DVS)에서 발생하는 배경 활동(BA) 이벤트가 데이터 품질을 떨어뜨리고 불필요한 자원을 소비하는 문제를 해결하기 위해.
• 기존의 가우시안 컨볼루션 기반 접근 방식에 비해 계산 오버헤드를 줄이는 노이즈 필터링 방법을 개발하기 위해.
• 지역적 이웃 데이터 대신 전역적인 공간 및 시간 정보를 활용하여 실제 이벤트와 BA 이벤트를 더 정확히 분류하기 위해.
• 높은 처리 속도를 유지하면서도 이벤트 기반 데이터의 프레임 명도를 향상시키는 필터를 설계하기 위해.
• 다양한 해상도와 출력 특성을 가진 여러 DVS 시스템에서 필터의 성능을 검증하기 위해.

제안 방법

• 지역적 가우시안 컨볼루션을 피하는 전역 시공간 통계를 사용하여 이벤트를 실제 이벤트 또는 BA로 분류하는 새로운 필터링 기준 GF를 제안한다.
• 전체 프레임에 걸쳐 누적된 이벤트 통계를 기반으로 자가 조정형 임계값 메커니즘을 적용하여 이벤트의 유효성을 동적으로 결정한다.
• 각 이벤트를 처리할 때 공간적 및 시간적 이벤트 밀도를 위한 전역 카운터를 업데이트함으로써 최소한의 계산으로 실시간 필터링을 가능하게 한다.
• 두 가지 변종을 설계: 폴라리티가 있는 표준 DVS(예: DVS128)를 위한 GF1과 폴라리티 없는 센서(예: CeleX-IV)를 위한 GF2로, 다양한 출력 형식에 적응한다.
• 이벤트 데이터(폴라리티, x, y, 타임스탬프)를 인코딩하기 위해 주소 이벤트 표현(AER)을 사용하여 효율적인 스트림 처리를 가능하게 한다.
• 이벤트당 단일 쓰기 및 계산 연산을 수행함으로써 이웃 기반 방법에 비해 메모리 접근과 처리 지연을 최소화한다.

실험 결과

연구 질문

• RQ1 전역적인 시공간 기준이 지역적 이웃 기반 필터링보다 DVS에서 실제 이벤트와 배경 활동을 더 잘 구분할 수 있는가?
• RQ2 자기 조정형 임계값 메커니즘이 높은 필터링 정확도를 유지하면서도 계산 오버헤드를 줄일 수 있는가?
• RQ3 기준 필터(예: 최근접 이웃, 가우시안 기반)와 비교할 때 제안된 GF 필터는 프레임 명도와 처리 속도 측면에서 어떻게 성능을 냈는가?
• RQ4 다양한 해상도와 출력 형식을 가진 다양한 DVS 시스템에 대해 이 필터를 일반화할 수 있는가?
• RQ5 특히 저속 운동 또는 복잡한 시나리오에서, 이 필터는 운동 세부 정보를 유지하면서도 효과적으로 BA 이벤트를 제거할 수 있는가?

주요 결과

• GF는 DVS128, DAVIS, CeleX-IV의 세 데이터셋 전반에서 기준 필터보다 더 선명한 노이즈 제거 프레임을 생성한다.
• GF1과 GF2는 모두 기준 필터보다 유의미하게 낮은 런타임을 기록한다: GF1은 Bs1보다 2.5배 빠르며, GF2는 Bs2와 유사한 속도를 기록하지만 더 뛰어난 성능을 보인다.
• 모든 필터의 FPR(임의의 양성 비율)은 낮으며, 특히 Bs2는 매우 낮아서 제안된 BA 이벤트 정의가 일관되고 신뢰할 수 있음을 시사한다.
• Bs1은 0.5ms 임계값을 사용할 경우 TPR(진짜 양성 비율)가 약 0.5%에 불과하지만, 임계값을 1ms로 상향 조정하면 TPR가 크게 향상된다. 이는 임계값 조정의 중요성을 확인한다.
• GF2는 낮은 메모리 비용과 높은 효율성을 유지하며, 특히 CeleX-IV와 같은 행 기반 이벤트 출력 시스템에서 Bs3보다 필터링 효과가 뛰어나다.
• 시간 필터 변종은 저속 운동 시나리오에서 Bs2를 능가하며, 특히 더 큰 서브샘플링 창 크기(s=4)에서 우수한 내성(로버스트니)을 보여준다.