[논문 리뷰] Exploiting Alternating DVS Shot Noise Event Pair Statistics to Reduce Background Activity

Brian McReynolds, Rui Graca외 1명|arXiv (Cornell University)|2023. 04. 07.

CCD and CMOS Imaging Sensors인용 수 6

한 줄 요약

이 논문은 동적 시각 센서(DVS)에서 저조도 조건에서 샷 노이즈 이벤트(SNE) 발생률을 낮추기 위해 두 가지 새로운 바이어어스 기법을 제안한다. 이는 픽셀 리셋 로직으로 인해 SNE가 상반된 극성 쌍으로 발생하는 통계적 경향을 활용한 것이다. 반복 금기 기간을 연장하거나 ON/OFF 임계치를 비대칭화함으로써, 감도와 시간 해상도를 유지하면서도 SNE 발생률을 각각 50%와 80% 감소시킨다.

ABSTRACT

Dynamic Vision Sensors (DVS) record "events" corresponding to pixel-level brightness changes, resulting in data-efficient representation of a dynamic visual scene. As DVS expand into increasingly diverse applications, non-ideal behaviors in their output under extreme sensing conditions are important to consider. Under low illumination (below ~10 lux) their output begins to be dominated by shot noise events (SNEs) which increase the data output and obscure true signal. SNE rates can be controlled to some degree by tuning circuit parameters to reduce sensitivity or temporal response bandwidth at the cost of signal loss. Alternatively, an improved understanding of SNE statistics can be leveraged to develop novel techniques for minimizing uninformative sensor output. We first explain a fundamental observation about sequential pairing of opposite polarity SNEs based on pixel circuit logic and validate our theory using DVS recordings and simulations. Finally, we derive a practical result from this new understanding and demonstrate two novel biasing techniques to reduce SNEs by 50% and 80% respectively while still retaining sensitivity and/or temporal resolution.

연구 동기 및 목표

• 저조도 조건에서 DVS의 높은 샷 노이즈 이벤트(SNE) 발생률이 신호 대 노이즈 비율을 떨어뜨리고 데이터 부하를 증가시키는 문제를 해결한다.
• 기존에 설명되거나 활용되지 않은 DVS 출력에서 상반된 극성 SNE가 쌍으로 발생하는 배경 원인을 규명한다.
• 감도와 시간 해상도를 유지하면서 노이즈 통계를 직접 조작하여 무의미한 SNE를 줄이는 실용적인 온칩 바이어스 전략을 개발한다.
• 실제 밝기 변화를 감지할 수 있는 DVS의 능력을 손상시키지 않고도 노이즈 감소를 달성함으로써, 어두운 환경 응용 분야에서의 광범위한 활용 가능성을 높인다.

제안 방법

• 각 이벤트 이후 발생하는 자가 타이밍 리셋 메커니즘과 이를 통해 기준 수준이 이벤트를 유도한 신호 수준 근처로 리셋되는 DVS 픽셀의 기본 회로 행동을 분석한다.
• 기록 및 시뮬레이션을 통해 SNE가 주로 상반된 극성 쌍으로 발생하는 것을 관찰하고 검증한다. 이는 리셋 메커니즘이 이후 반대 극성 이벤트의 발생 가능성을 높이기 때문이다.
• 첫 번째 기법을 제안: 반복 금기 기간을 연장하여 기준 수준을 이전 이벤트의 신호 수준에서 분리함으로써 즉각적인 반대 극성 노이즈 이벤트 발생 확률을 감소시킨다.
• 두 번째 기법을 제안: ON 및 OFF 임계치를 의도적으로 비대칭화함(예: θ_ON ≈ 0.3 × θ_OFF)하여 기준 수준이 더 민감한 임계치 근처로 정착하도록 하여 노이즈 쌍 생성 주기를 방해한다.
• 실제 DAVIS346 센서 데이터와 가우시안 화이트 노이즈를 주입하여 실제 SNE 통계를 모의하는 v2e DVS 시뮬레이터를 사용해 두 기법을 검증한다.
• 효율적인 분리 조건을 이론적으로 유도: 반복 금기 기간 ≥ 1/(2πf₃dB), 여기서 f₃dB는 광수감기의 3dB 절곡 주파수이다.

Fig. 1: Typical DVS pixel circuit schematic. The active logarithmic photoreceptor front-end ( A-B ) drives a cap-feedback change amplifier ( C ) with output $V_{diff}$ . When $V_{diff}$ deviates by either an ON or OFF threshold, comparators ( D ) report an event, and after a finite refractory period

실험 결과

연구 질문

• RQ1 저조도 조건에서 독립적인 ON 및 OFF 임계치 설정에도 불구하고 DVS에서 샷 노이즈 이벤트가 왜 주로 상반된 극성 쌍으로 발생하는가?
• RQ2 픽셀 리셋 메커니즘이 SNE의 통계적 쌍 생성에 어떤 영향을 미치며, 이를 노이즈 감소에 활용할 수 있는가?
• RQ3 센서 바이어스 파rameter를 조작하여 감도나 시간 해상도를 희생시키지 않고 SNE 발생률을 줄일 수 있는가?
• RQ4 실제 DVS 하드웨어에서 반복 금기 기간 연장과 임계치 비대칭화를 통해 달성 가능한 노이즈 감소의 정량적 한계는 무엇인가?

주요 결과

• 실제 DVS 기록에서 10 lux 조건 하에서 SNE가 상반된 극성 쌍으로 발생하는 비율이 90%를 초과한다. 이는 주로 픽셀의 자가 타이밍 리셋 메커니즘 때문이다.
• 반복 금기 기간을 1/(2πf₃dB) 이상으로 연장하면 기준 수준이 이전 이벤트의 신호 수준에서 분리되어 모든 조명 수준에서 총 SNE 발생률이 50% 이상 감소한다.
• ON 및 OFF 임계치를 의도적으로 비대칭화(특히 θ_ON/θ_OFF ≈ 0.3으로 설정)하면 총 SNE 발생률이 최대 80% 감소하며, ON 변화 감지 민감도는 유지된다.
• ISI 히스토GRAM에서 이벤트 쌍 분포에 명확한 이동이 관찰되어, 두 기법이 실제로 반복적인 상반된 극성 노이즈 이벤트 주기를 깨뜨린다는 것이 확인된다.
• 제안된 방법들은 기존 DVS 하드웨어와 호환되며, 외부 처리나 복잡한 노이즈 제거 파이프라인 없이도 온칩 바이어스 조정을 통해 구현할 수 있다.
• v2e DVS 시뮬레이터가 가우시안 화이트 노이즈를 이벤트 생성 블록 이전에 주입할 경우에만 실제 SNE 통계를 정확히 재현하므로, 노이즈 모델링 방법의 타당성이 검증된다.

Fig. 2: Recorded DAVIS346 SNE s under 10 mlux illumination with high bandwidth biases. A: Per pixel ON and OFF SNE rates are nearly balanced, even for pixels with an abnormally high noise rates. B: ISI histograms reveal that over 90% of pixel SNE pairs are opposite polarity and occur at shorter time