[논문 리뷰] ASAP: Adaptive Scheme for Asynchronous Processing of Event-based Vision Algorithms

Raúl Tapia, Augusto Gómez Eguíluz외 2명|arXiv (Cornell University)|2022. 09. 18.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

ASAP는 비동기적 이벤트 기반 시각 알고리즘에서 반응성과 오버플로우를 균형 있게 유지하기 위해 동적으로 패키지 크기를 조절하고 과도한 이벤트를 무작위로 필터링하는 적응형 이벤트 패키징 기법을 제안한다. 처리 시간을 이벤트 패키지 시간과 동기화하고 필요에 따라 과도한 이벤트를 필터링함으로써, UAV와 같은 자원 제한된 플랫폼에서도 실시간으로 반응성 있는 처리를 가능하게 한다.

ABSTRACT

Event cameras can capture pixel-level illumination changes with very high temporal resolution and dynamic range. They have received increasing research interest due to their robustness to lighting conditions and motion blur. Two main approaches exist in the literature to feed the event-based processing algorithms: packaging the triggered events in event packages and sending them one-by-one as single events. These approaches suffer limitations from either processing overflow or lack of responsivity. Processing overflow is caused by high event generation rates when the algorithm cannot process all the events in real-time. Conversely, lack of responsivity happens in cases of low event generation rates when the event packages are sent at too low frequencies. This paper presents ASAP, an adaptive scheme to manage the event stream through variable-size packages that accommodate to the event package processing times. The experimental results show that ASAP is capable of feeding an asynchronous event-by-event clustering algorithm in a responsive and efficient manner and at the same time prevents overflow.

연구 동기 및 목표

• 자원 제한된 플랫폼에서 실행되는 이벤트 기반 시각 알고리즘에서 반응성과 시스템 오버플로우 사이의 상충 관계를 해결한다.
• 고정된 크기의 이벤트 패키지(오버플로우 위험)와 단일 이벤트 처리(계산 오버플로우 위험)의 한계를 극복한다.
• 저전력 UAV와 같은 중간 수준의 계산 자원을 가진 플랫폼에서 이벤트 스트림을 실시간으로 비동기적으로 처리할 수 있도록 한다.
• 알고리즘이 다음 패키지가 도착하기 이전에 매번 이벤트 패키지를 처리하도록 보장하여 실시간 성능을 유지한다.
• 대상 하드웨어의 처리 능력에 맞추어 이벤트 스트림 속도를 적응적으로 관리한다.

제안 방법

• 이전 패키지의 처리 시간에 기반해 이벤트 패키지 크기를 조절하는 피드백 루프 메커니즘을 사용한다.
• 알고리즘 처리에 소요되는 시간과 패키지 내 이벤트의 시간 간격을 동기화하기 위해 이벤트 패키지 크기를 동적으로 조정한다.
• 실시간 처리 능력 이상의 처리 부하가 발생할 경우, 이벤트 레이트를 낮추기 위해 무작위 이벤트 기각 절차(γ 필터)를 구현한다.
• 알고리즘이 실시간으로 처리할 수 있는 범위 내에서 유효 이벤트 레이트 R을 유지하기 위해 필터링 비율 γ를 적응적으로 조정한다.
• 이벤트 레이트가 시스템의 처리 용량을 초과할 경우 필터링을 트리거하기 위해 상한 기준값 a = 5×10⁶ 이브트/초를 설정한다.
• UAL 추상화 레이어, ROS Kinetic, 그리고 PX4를 사용하여 C++ 프레임워크에 이 기법을 통합한다.

실험 결과

연구 질문

• RQ1 저전력 로봇 플랫폼에서 실시간으로 이벤트 스트림 처리를 어떻게 반응성 있고 오버플로우가 없는 방식으로 구현할 수 있는가?
• RQ2 어떤 적응 메커니즘이 처리 시간과 동기화되어 이벤트 패키지 크기를 동적으로 조절함으로써 시스템 오버로드를 방지할 수 있는가?
• RQ3 고도로 동적인 환경에서 이벤트 레이트가 급격히 변할 경우, 랜덤 이벤트 필터링은 알고리즘 성능을 유지하면서 계산 부하를 줄이는 데 얼마나 효과적인가?
• RQ4 급격하게 변화하는 운동 조건에서, 특히 이벤트 레이트가 급격히 변하는 상황에서도 제안된 기법이 실시간 처리를 유지할 수 있는가?
• RQ5 변동하는 시나리오 복잡도를 가진 실제 UAV 환경에서 이 적응형 패키징 기법은 어떻게 성능을 발휘하는가?

주요 결과

• ASAP는 패키지 내 가장 오래된 이벤트와 가장 최신 이벤트 사이의 시간 차이가 음수를 유지함으로써 실시간 처리를 성공적으로 유지한다. 이는 매번 다음 패키지 도착 이전에 이벤트 패키지가 처리됨을 보장한다.
• 급격한 운동 실험에서 이벤트 레이트가 5×10⁶ 이브트/초를 초과할 경우, γ는 1에서 더 낮은 값으로 동적으로 조정되어 오버플로우를 방지했다.
• UAV에 탑재한 실험 결과, 이벤트 레이트가 항상 기준값 a = 5×10⁶ 이브트/초를 초과하지 않아 필터링 없이 전체 이벤트 스트림을 처리할 수 있었으며, 비행 전반에 걸쳐 γ = 1을 유지했다.
• 적응형 패키지 크기 메커니즘이 처리 시간과 이벤트 패키지 시간 간격을 동기화시켜 지연을 최소화하고 반응성을 확보했다.
• 다양한 물체를 빠르게 지나가는 환경(예: 여러 개의 의자 위를 비행)에서도 이벤트 레이트가 증가했지만 처리 한계 내에 유지되어 기술이 견고함을 입증했다.
• 고속 이벤트 레이트에서의 랜덤 이벤트 필터링은 이전 연구 [11]에서 검증된 바와 같이 알고리즘 성능을 유지하면서도 계산 부하를 크게 감소시켰다.