[논문 리뷰] Graph-based Asynchronous Event Processing for Rapid Object Recognition

Yijin Li, Han Zhou외 5명|arXiv (Cornell University)|2023. 08. 28.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 이벤트 클라우드를 위한 증분 그래프 컨볼루션과 전용 반경 탐색을 도입함으로써 실시간으로 효율적이고 이벤트 단위로 인식할 수 있는 그래프 기반 비동기 이벤트 처리 프레임워크인 SlideGCN을 제안한다. 기존의 단순 슬라이딩 윈도우 방법에 비해 계산 복잡도를 최대 100배까지 감소시키면서도 최신 기술 수준의 정확도를 달성하고 높은 신뢰도로 조기 인식을 가능하게 한다.

ABSTRACT

Different from traditional video cameras, event cameras capture asynchronous events stream in which each event encodes pixel location, trigger time, and the polarity of the brightness changes. In this paper, we introduce a novel graph-based framework for event cameras, namely SlideGCN. Unlike some recent graph-based methods that use groups of events as input, our approach can efficiently process data event-by-event, unlock the low latency nature of events data while still maintaining the graph's structure internally. For fast graph construction, we develop a radius search algorithm, which better exploits the partial regular structure of event cloud against k-d tree based generic methods. Experiments show that our method reduces the computational complexity up to 100 times with respect to current graph-based methods while keeping state-of-the-art performance on object recognition. Moreover, we verify the superiority of event-wise processing with our method. When the state becomes stable, we can give a prediction with high confidence, thus making an early recognition. Project page: \url{https://zju3dv.github.io/slide_gcn/}.

연구 동기 및 목표

• 이벤트 기반 물체 인식에서 저지연과 높은 정확도 사이의 상충 관계를 해결하기 위해.
• 성능을 희생시키지 않고도 그래프 기반 방법에서 진정으로 이벤트 단위 처리를 가능하게 하기 위해.
• 희박하고 비동기적인 이벤트 스트림에 대해 그래프 구축 및 추론의 계산 복잡도를 줄이기 위해.
• 이벤트 처리 중 안정된 예측 상태와 높은 신뢰도를 감지하여 조기 인식을 지원하기 위해.
• 이벤트 클라우드의 2차원 격자 구조에 맞는 반경 탐색 알고리즘을 설계하여 더 빠른 그래프 구축을 가능하게 하기 위해.

제안 방법

• 이전 그래프 상태의 특징을 재사용하고 새로운 노드 주변의 특징만 갱신하는 증분 그래프 컨볼루션 방법인 슬라이드 컨볼루션을 도입한다.
• 시간 단계에 따라 동적으로 변화하는 그래프 구조를 최소한의 재계산으로 처리할 수 있도록 다층 GCN의 전파 규칙을 유도한다.
• 이벤트 클라우드의 2차원 격자 구조를 활용하는 픽셀 큐 기반 반경 탐색 알고리즘을 제안하여 탐색 비용을 절반으로 줄이고 삽입/삭제 연산을 O(1)로 가능하게 한다.
• 예측 신뢰도를 모니터링하는 상태 인식 모듈을 활용하여 안정성이 확보된 경우 조기 인식을 트리거한다.
• 재귀적 그래프 갱신을 통해 시간적 일관성을 유지하면서도 반복 계산을 최소화하는 슬라이딩 윈도우 전략을 사용한다.
• 이벤트 단위 처리와 그래프 신경망을 결합하여 이벤트 데이터의 희박성과 시간 해상도를 유지한다.

실험 결과

연구 질문

• RQ1 그래프 기반 방법이 정확도를 희생시키지 않고 저지연, 이벤트 단위 처리를 달성할 수 있는가?
• RQ2 동적 이벤트 스트림에서 계산 비용을 줄이기 위해 그래프 컨볼루션을 어떻게 증분적으로 만들 수 있는가?
• RQ3 2차원 이벤트 클라우드에 특화된 반경 탐색 알고리즘이 그래프 구축을 상당히 가속화할 수 있는가?
• RQ4 이벤트 단위 처리는 배치 기반 방법에 비해 더 이르고 더 높은 신뢰도로 인식을 가능하게 하는가?
• RQ5 이벤트 기반 인식에서 지연, 계산 비용, 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• SlideGCN는 기존의 단순 슬라이딩 윈도우 그래프 컨볼루션 방법에 비해 계산 복잡도를 최대 100배까지 감소시킨다.
• 스트림 기반 물체 인식에서 최신 기술 수준의 정확도(0.669)를 달성하였으며, 50ms 윈도우의 배치 기반 방법(0.761)과 유사한 성능을 보였다.
• SlideGCN는 12ms(이벤트 인덱스 3118)에 높은 신뢰도로 조기 인식을 수행할 수 있었고, 배치 기반 방법은 50ms(이벤트 인덱스 19154)까지 기다려야 했다.
• 제안된 반경 탐색 알고리즘은 이벤트 클라우드의 2차원 격자 구조를 활용하여 탐색 시간을 50% 감소시키고 삽입/삭제 비용을 O(1)로 낮췄다.
• 이벤트 단위 처리의 누적 MFLOPS는 17,711(배치 크기 1)이며, 이는 배치 기반 처리(1,152)보다 높지만 상당히 낮은 지연을 가능하게 한다.
• 배치 크기를 100으로 설정했을 때 SlideGCN는 저지연과 낮은 계산 부담 사이의 균형을 이루며 실시간 구현에 실용적인 상충 관계를 제공한다.