[논문 리뷰] Shining light on the DVS pixel: A tutorial and discussion about biasing and optimization

Rui Graça, Brian McReynolds외 1명|arXiv (Cornell University)|2023. 04. 10.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 동적 시각 센서(DVS) 픽셀에 대한 종합적인 튜토리얼을 제공하며, 바이어스 파rameter가 신호 응답, 노이즈 및 대역폭에 미치는 영향을 상세히 설명한다. 이는 작업별 기준(일조량, 물체 속도, 대비 등)을 바탕으로 최적의 바이어스 설정을 추천하는 혁신적인 상호작용식 바이어스 최적화 스프레드시트 도구를 도입하여 하드웨어 인식형 카메라 설정과 이벤트 기반 시각 시스템의 향상된 모델링을 가능하게 한다.

ABSTRACT

The operation of the DVS event camera is controlled by the user through adjusting different bias parameters. These biases affect the response of the camera by controlling - among other parameters - the bandwidth, sensitivity, and maximum firing rate of the pixels. Besides determining the response of the camera to input signals, biases significantly impact its noise performance. Bias optimization is a multivariate process depending on the task and the scene, to which the user's knowledge about pixel design and non-idealities can be of great importance. In this paper, we go step-by-step along the signal pathway of the DVS pixel, shining light on its low-level operation and non-idealities, comparing pixel level measurements with array level measurements, and discussing and how biasing and illumination affect the pixel's behavior. With the results and discussion presented, we aim to help DVS users achieve more hardware-aware camera utilization and modelling.

연구 동기 및 목표

• 기존 연구에서 자주 간과되는 저수준의 신호 처리 및 비이상적 특성에 중점을 두어 DVS 픽셀 작동 방식에 대한 상세하고 접근하기 쉬운 설명을 제공하는 것.
• 대역폭, 민감도, 회복 기간 등의 다변수적 바이어스 파rameter가 이벤트 출력, 노이즈 및 신호 정밀도에 미치는 영향를 명확히 하는 것.
• DVS 응답에 대한 일반적인 오해를 바로잡기 위해 내부 픽셀 전압과 어레이 수준의 동작을 실측한 결과를 제시하는 것.
• 작업 및 시나리오 제약 조건에 기반해 설정을 추천하는 실용적이고 사용자 友好的인 바이어스 최적화 도구를 개발하는 것.
• 이벤트가 신호, 노이즈 및 누설을 어떻게 인코딩하는지 밝혀내어 DVS 모델링 및 시뮬레이션의 정확도를 향상시키는 것.

제안 방법

• DAVIS346 어레이에서 분리된 테스트 픽셀에서 노드 전압 측정을 광범위하게 수행하여 각 DVS 픽셀 단계를 통과하는 신호 전파를 시각화한 바.
• 일조량과 바이어스 설정이 대역폭과 노이즈에 미치는 영향를 분석하기 위해 픽셀 수준의 측정치와 어레이 수준의 이벤트 출력을 상관 분석한 바.
• 광수용체 바이어스, 회복 기간, 시간적 대비 임계치 간의 상호작용을 분석하여 밝기 변화에 따라 임계치가 이동하는 등 비직관적인 행동을 밝혀낸 바.
• 객체 속도, 대비, 일조량 등의 예를 포함한 64종의 작업 및 시나리오 기준 조합을 평가하여 다변수 바이어스 최적화 프레임워크를 개발한 바.
• 각 시나리오에 대해 상대적 바이어스 '조정'(예: 빠른-중간-느린 대역폭, 낮음-중간-높음 민감도)을 매핑하는 온라인 스프레드시트 도구를 제작한 바.
• 이벤트를 신호, 노이즈 및 접합 누설의 복합체로 재해석하였으며, 이로 인해 효과적인 시간적 대비 임계치가 시간에 따라 변하는 것처럼 보일 수 있음을 제안한 바.

실험 결과

연구 질문

• RQ1 개별 바이어스 파rameter(대역폭, 민감도, 회복 기간)가 다이나믹한 시나리오에 대한 DVS 픽셀의 반응에 어떻게 상호작용하는가?
• RQ2 회로 수준의 효과로 인해 발생하는 비이상적 행동(예: 리셋 중 신호 이탈, 임계치 이동)은 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 다양한 응용 및 시나리오 조건에 대해 바이어스 설정의 다변수적 의존성을 체계적으로 최적화할 수 있는가?
• RQ4 노이즈와 누설이 이벤트 생성에 얼마나 기여하는가, 그리고 이를 향상된 시뮬레이션을 위해 어떻게 모델링할 수 있는가?
• RQ5 작업별 요구사항에 기반해 사용자에게 최적의 바이어스 설정을 안내할 수 있는 통합형 상호작용 도구를 설계할 수 있는가?

주요 결과

• 리셋 중 신호 왜곡으로 인해 회복 전류(I_refr)는 실용적인 상한선을 가진다. 특히 회복 기간이 100 μs 이하일 경우에 이는 픽셀 안정성에 영향을 미친다.
• 대역폭과 민감도는 함께 작용하여 최소 감지 가능한 물체 속도와 밝기를 결정하며, 높은 민감도는 노이즈 비율을 증가시킨다.
• 임계치 수준은 일조량의 함수로 시간이 지남에 따라 이동함을 나타내어, 시간적 대비 임계치가 정적가 아니라 밝기에 따라 동적으로 조절된다는 것을 시사한다.
• 이벤트는 신호 외에도 노이즈 및 접합 누설을 인코딩하며, 이는 효과적인 시간적 대비 임계치가 시간에 따라 변하는 시프트로 해석될 수 있다.
• 제안된 바이어스 최적화 도구는 64개의 시나리오 기반 시작점과 작업 및 시나리오 파rameter에 맞게 조정된 상대적 조정(예: '빠른' 대역폭, '높은' 민감도)을 제공한다.
• 내부 노드 전압 측정치는 리셋 중 일시적인 전압 이탈과 같은 비직관적인 행동을 드러내었으며, 이는 자주 간과되지만 픽셀 정밀도에 영향을 미친다.