[논문 리뷰] Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor

Timo Stoffregen, Lindsay Kleeman|arXiv (Cornell University)|2018. 05. 31.

Advanced Vision and Imaging인용 수 31

한 줄 요약

이 논문은 동적 시각 센서(DVS)에서 발생하는 이벤트의 광학적 유속을 동시에 추정하고 세분화하기 위해 3차원 공간(x, y, t)에서 이벤트 궤적을 모델링하는 새로운 알고리즘 SOFAS를 제안한다. 국소 패치가 아닌 전체 구조를 분석함으로써 개구 문제를 피하고, 기존 방법보다 더 높은 정확도를 달성하며, 특히 변동 속도 및 최소한의 계산 오버헤드로 인한 물체 세분화에 유리하다.

ABSTRACT

We present an algorithm (SOFAS) to estimate the optical flow of events generated by a dynamic vision sensor (DVS). Where traditional cameras produce frames at a fixed rate, DVSs produce asynchronous events in response to intensity changes with a high temporal resolution. Our algorithm uses the fact that events are generated by edges in the scene to not only estimate the optical flow but also to simultaneously segment the image into objects which are travelling at the same velocity. This way it is able to avoid the aperture problem which affects other implementations such as Lucas-Kanade. Finally, we show that SOFAS produces more accurate results than traditional optic flow algorithms.

연구 동기 및 목표

• 동적 시각 센서(DVS)에서 발생하는 이벤트 기반 데이터에 적용할 때 전통적인 광학적 유속 알고리즘의 한계, 특히 개구 문제를 해결하고자 한다.
• DVS 이벤트 스트림의 고시간 해상도와 희소성 특성을 활용하여 더 강력하고 효율적인 유속 추정 방법을 개발하고자 한다.
• 운동하는 구조물의 속도에 기반하여 장면 내에서 자연스럽게 물체를 그룹화할 수 있도록 동시에 세분화하고자 한다.
• 비정상적인 속도 변화나 형태 변화에 적응할 수 있음을 입증하고, 기존의 흐름 기술보다 이벤트 데이터에서 뛰어난 성능을 보여주고자 한다.
• 이벤트 기반 센싱의 고유한 특성, 예를 들어 비동기적이고 프레임 없는 데이터 생성 방식을 활용하여 실시간, 저지연 시각 처리를 가능하게 하고자 한다.

제안 방법

• 각 이벤트가 픽셀에서 빛의 강도 변화를 나타내므로, DVS 이벤트를 공간-시간(우, 베타, t)에서 3차원 점으로 표현하고, 극성 정보를 포함시킨다.
• 운동하는 구조물을 이미지 평면 내의 2차원 단면 C로 모델링하고, 이벤트들이 궤적을 따라 3차원 점군으로 확장되도록 한다.
• 속도 벡터(v_u, v_v)를 인코딩하는 매개수 변환을 사용하여 3차원 이벤트 클라우드를 2차원 '트랙 평면'에 투영함으로써, 유속과 세분화를 동시에 추정할 수 있도록 한다.
• 최소 제곱법을 사용하여 트랙 평면 투영에서 잔차 오차를 최소화하는 최적의 속도 파rameter를 추정한다.
• 적합된 속도 파rameter에 기반해 이벤트를 군집화함으로써 장면을 세분화하며, 같은 속도로 움직이는 물체들이 자연스럽게 그룹화된다.
• Mueggler 등이 제안한 방법을 참고하여 현재 속도 추정치를 기반으로 이벤트 수명을 추정함으로써 시간적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적인 강도 기울기 대신 전체 이벤트 궤적을 모델링함으로써 DVS 데이터에서의 광학적 유속 추정 성능을 향상시킬 수 있는가?
• RQ2 트랙 평면 표현에서 속도 기반 군집화를 통해 운동하는 물체의 동시에 세분화를 자연스럽게 달성할 수 있는가?
• RQ3 제안된 방법이 Lucas-Kanade와 같은 국소 유속 추정 기법에 내재된 개구 문제를 피할 수 있는가?
• RQ4 비균일하거나 가속도가 있는 운동이 있는 동적 환경에서 SOFAS는 기존의 광학적 유속 알고리즘보다 어떻게 성능을 발휘하는가?
• RQ5 이 알고리즘은 음영 변화, 가림, 복잡한 운동 패턴과 같은 실제 환경의 과제를 어느 정도 잘 처리할 수 있는가?

주요 결과

• SOFAS는 합성 및 실제 DVS 데이터를 대상으로 평가한 결과, 복잡한 운동이 있는 장면에서 전통적인 알고리즘보다 더 정확한 광학적 유속 추정을 제공한다.
• 알고리즘은 속도에 기반해 운동하는 물체를 성공적으로 세분화하며, 로봇 암, 메뚜기, 다른 거리에 있는 수직 막대와 같은 구조물 간에 명확한 분리가 이루어진다.
• 등가속도 운동, 예를 들어 진자 운동과 같은 상황에서도 SOFAS는 합리적이고 적응 가능한 유속 추정을 생성하지만, 노이즈가 약간 증가한다.
• 회전 운동에 대해서는 회전 모델링이 부족하여 성능이 떨어지지만, 짧은 시간 간격에서는 여전히 막대를 길이 방향으로 세분화하고 합리적인 유속을 추정한다.
• 가림 현상에 대해 강건하다: 이전에 가려졌던 물체가 다시 나타나면 SOFAS는 그 속도에 기반해 별개의 구조물로 재세분화한다.
• 표준 CPU에서는 처리 시간이 길다(예: 257,000개의 이벤트에 대해 46.5초), 하지만 모듈식이고 병렬 처리가 가능한 구조이므로 최적화를 통해 실시간 구현 가능성이 있다.