[논문 리뷰] ABMOF: A Novel Optical Flow Algorithm for Dynamic Vision Sensors

Min Liu, Tobi Delbrück|arXiv (Cornell University)|2018. 05. 10.

Robotics and Sensor-Based Localization참고 문헌 3인용 수 10

한 줄 요약

이 논문은 동적 시각 센서(DVS)를 위한 이벤트 기반 광학 흐름 알고리즘인 ABMOF를 제안한다. 이 알고리즘은 적응형 시간 슬라이스 회전과 피드백 제어 기반 슬라이스 지속 시간을 사용하여 흐름 추정 정확도와 하드웨어 효율성을 향상시킨다. 자연 풍경에서 Lucas-Kanade와 유사한 성능을 달성하면서도, 컴act하고 승수 없는 FPGA 구현을 가능하게 한다.

ABSTRACT

Dynamic Vision Sensors (DVS), which output asynchronous log intensity change events, have potential applications in high-speed robotics, autonomous cars and drones. The precise event timing, sparse output, and wide dynamic range of the events are well suited for optical flow, but conventional optical flow (OF) algorithms are not well matched to the event stream data. This paper proposes an event-driven OF algorithm called adaptive block-matching optical flow (ABMOF). ABMOF uses time slices of accumulated DVS events. The time slices are adaptively rotated based on the input events and OF results. Compared with other methods such as gradient-based OF, ABMOF can efficiently be implemented in compact logic circuits. Results show that ABMOF achieves comparable accuracy to conventional standards such as Lucas-Kanade (LK). The main contributions of our paper are new adaptive time-slice rotation methods that ensure the generated slices have sufficient features for matching,including a feedback mechanism that controls the generated slices to have average slice displacement within the block search range. An LK method using our adapted slices is also implemented. The ABMOF accuracy is compared with this LK method on natural scene data including sparse and dense texture, high dynamic range, and fast motion exceeding 30,000 pixels per second.The paper dataset and source code are available from http://sensors.ini.uzh.ch/databases.html.

연구 동기 및 목표

• 이상적이고 희박하며 고다이나믹 레인지인 DVS 이벤트 스트림에 적용될 때 전통적 광학 흐름 알고리즘의 한계를 해결한다.
• 고속 운동, 저조도 및 극단적인 조도 변화와 같은 도전적인 조건에서 광학 흐름 추정 정확도를 향상시킨다.
• 논리 친화적이고 승수 없는 알고리즘 설계를 통해 FPGA에서 효율적이고 저전력의 광학 흐름 하드웨어 구현을 가능하게 한다.
• 다양한 운동 프로파일에 걸쳐 블록 매칭에 충분한 특징 내용을 유지하는 적응형 시간 슬라이스 생성을 개발한다.

제안 방법

• 지역 운동 특성에 따라 누적된 DVS 이벤트의 시간 슬라이스를 적응적으로 회전시켜 특징 내용을 보존하고 아퍼처 효과를 줄인다.
• 블록 검색 범위의 반 이내 평균 매칭 이동 거리 유지 목적으로 슬라이스 지속 시간을 조절하는 피드백 제어 메커니즘을 구현한다.
• 센서 데이터를 기각하지 않고도 중복 계산을 방지하는 적응형 이벤트 스킵 메커니즘을 도입하여 파이프라인 효율성을 향상시킨다.
• 다중 척도 시간 슬라이스를 사용하여 측정 가능한 속도 범위를 확장하고 노이즈 및 저주파 운동에 대한 강건성을 향상시킨다.
• 블록 매칭에서 전체 검색 대신 다이아몬드 검색을 적용하여 12픽셀 검색 범위에서 약 14배의 계산 비용 절감을 달성한다.
• 적응형 슬라이스를 Lucas-Kanade 기반 방법(ABMOF_LK)에 통합하여 성능를 비교하고 슬라이스 품질을 검증한다.

실험 결과

연구 질문

• RQ1 고정 지속 시간 슬라이스에 비해 적응형 시간 슬라이스 회전과 지속 시간 제어가 DVS 이벤트 스트림에서 광학 흐름 정확도 향상에 기여하는가?
• RQ2 슬라이스 지속 시간에 대한 피드백 메커니즘이 고속 또는 변동 운동 시나리오에서 성능 향상에 얼마나 기여하는가?
• RQ3 다중 척도 시간 슬라이스 접근 방식이 DVS에서 광학 흐름 추정의 측정 가능한 속도 범위를 어떻게 확장하는가?
• RQ4 적응형 슬라이스 생성 방법이 Lucas-Kanade와 같은 프레임 기반 광학 흐름 알고리즘에 적합한 고품질 이미지를 생성할 수 있는가?
• RQ5 FPGA 배포를 위한 이벤트 기반 광학 흐름 알고리즘에서 정확도와 하드웨어 효율성 간의 상충 관계는 어떠한가?

주요 결과

• ABMOF는 희박하고 조밀한 무늬, 고다이나믹 레인지, 1초당 30,000 픽셀 이상의 운동을 포함한 자연 풍경 데이터에서 Lucas-Kanade 방법과 유사한 광학 흐름 정확도를 달성한다.
• 적응형 슬라이스 지속 시간 피드백 메커니즘이 평균 매칭 이동 거리가 블록 검색 범위 내에 유지되도록 하여 강건성과 정확도를 향상시킨다.
• 검색 거리 r=4와 세 개의 척도를 사용할 경우, ABMOF는 축당 ±32픽셀 범위의 광학 흐름을 추정할 수 있으며, 이는 복잡한 카메라 운동을 커버할 수 있다.
• 이 알고리즘은 이전에는 고성능 게이밍 마우스 센서에서만 가능했던 1초당 10,000 픽셀 이상의 속도 측정이 가능하게 한다.
• FPGA 자원 추정 결과, ABMOF는 중간 크기의 FPGA(예: Xilinx Zynq-7000 XC7Z100)에 6% 플립플롭 사용률과 36% LUT 사용률로 구현 가능하여 컴act하고 저전력 배포가 가능하다.
• 적응형 슬라이스는 고정 지속 시간 슬라이스에 비해 블록 매칭 및 Lucas-Kanade 방법 양쪽 모두에서 성능을 크게 향상시켜 그 품질과 강건성을 입증한다.