[논문 리뷰] AEGNN: Asynchronous Event-based Graph Neural Networks

Simon Schaefer, Daniel Gehrig외 1명|arXiv (Cornell University)|2022. 03. 31.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

AEGNN는 비동기적 이벤트를 변화하는 시공간 그래프로 처리하는 새로운 그래프 신경망 아키텍처를 제안한다. 이는 각 이벤트마다 영향을 받는 노드만 업데이트함으로써 계산량과 지연을 크게 줄인다. 표준 GNN보다 최대 11배 적은 FLOPs와 8배 낮은 지연을 달성하면서도 물체 분류 및 검출 작업에서 최신 기술 수준의 성능을 유지하거나 초월한다.

ABSTRACT

The best performing learning algorithms devised for event cameras work by first converting events into dense representations that are then processed using standard CNNs. However, these steps discard both the sparsity and high temporal resolution of events, leading to high computational burden and latency. For this reason, recent works have adopted Graph Neural Networks (GNNs), which process events as ``static" spatio-temporal graphs, which are inherently "sparse". We take this trend one step further by introducing Asynchronous, Event-based Graph Neural Networks (AEGNNs), a novel event-processing paradigm that generalizes standard GNNs to process events as ``evolving" spatio-temporal graphs. AEGNNs follow efficient update rules that restrict recomputation of network activations only to the nodes affected by each new event, thereby significantly reducing both computation and latency for event-by-event processing. AEGNNs are easily trained on synchronous inputs and can be converted to efficient, "asynchronous" networks at test time. We thoroughly validate our method on object classification and detection tasks, where we show an up to a 11-fold reduction in computational complexity (FLOPs), with similar or even better performance than state-of-the-art asynchronous methods. This reduction in computation directly translates to an 8-fold reduction in computational latency when compared to standard GNNs, which opens the door to low-latency event-based processing.

연구 동기 및 목표

• 표준 CNN 및 GNN을 사용할 경우 이벤트 카메라 데이터 처리에 소요되는 높은 계산 비용과 지연 문제를 해결한다.
• 각 이벤트마다 전체 네트워크 활성화를 재계산하는 비효율성을 해결하기 위해 국소적이고 이벤트 기반 업데이트를 가능하게 한다.
• 실시간 응용 프로그램을 위한 효율적 추론을 가능하게 하면서도 이벤트 데이터의 높은 시간 해상도와 희소성을 유지한다.
• 백프로파게이션을 사용해 배치된 이벤트로 훈련하고 성능 손실 없이 비동기 모드로 배포할 수 있도록 한다.
• 효율적인 점진적 업데이트를 통해 표준 GNN을 이벤트 스트림의 동적이고 변화하는 특성에 맞게 일반화한다.

제안 방법

• 노드가 픽셀에 대응하고 간선이 공간적 근접성을 나타내는 시공간 그래프로 이벤트를 표현하며, 특징은 강도 변화를 코딩한다.
• 새로운 이벤트에 의해 영향을 받는 노드의 활성화만 재계산하는 비동기 업데이트 규칙을 도입하여 불필요한 계산을 최소화한다.
• 스플라인 컨벌루션(SplineConv) 레이어를 사용해 공간 기하학을 그래프 컨벌루션에 통합하여 의사좌표와 B-스플라인 기저 함수를 통해 특징 표현을 향상시킨다.
• 표준 백프로파게이션을 사용해 배치된 이벤트 데이터로 네트워크를 훈련한 후, 테스트 시점에 비동기 추론 모드로 변환한다.
• 인식 및 검출 아키텍처 양쪽에서 특징 계층 구조 향상과 기울기 흐름 개선을 위해 최대 풀링과 스킵 연결을 적용한다.
• 이벤트의 희소성을 활용하고 각 이벤트 이후 전방전파를 완전히 피하는 방식으로 계산 복잡도를 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 신경망을 정적 그래프가 아닌 변화하는 시공간 그래프로 간주하여 이벤트를 처리하도록 일반화할 수 있는가?
• RQ2 전체 재계산 대비 국소적이고 이벤트 기반 업데이트를 통해 GNN의 계산 복잡도와 추론 지연을 크게 줄일 수 있는가?
• RQ3 제안된 비동기 업데이트 메커니즘이 최신 기술 수준의 방법과 비교해 성능을 유지하거나 향상시키는가?
• RQ4 배치 이벤트로 훈련된 모델이 성능 저하 없이 비동기적, 이벤트 단위 추론 모드로 효과적으로 배포될 수 있는가?
• RQ5 이벤트 데이터의 희소성과 높은 시간 해상도가 딥러닝 아키텍처에서 얼마나 잘 유지되고 활용될 수 있는가?

주요 결과

• AEGNN는 물체 분류 및 검출 작업에서 표준 GNN 대비 최대 11배 낮은 FLOPs로 계산 복잡도를 감소시킨다.
• 표준 GNN 대비 8배 낮은 계산 지연을 달성하여 실시간 처리를 가능하게 한다.
• 현저히 낮은 계산량에도 불구하고 물체 분류 및 검출 작업에서 최신 비동기 방법과 동일하거나 뛰어난 성능을 기록한다.
• 배치 훈련 후 비동기 모드로 배포하더라도 동일한 출력을 유지하여 훈련 및 추론 모드 간 일관성을 확보한다.
• B-스플라인 기저 함수와 의사좌표를 사용한 SplineConv 레이어는 이웃 이벤트 간 공간적 관계를 코딩함으로써 특징 표현을 향상시킨다.
• 스킵 연결과 최대 풀링의 사용은 특징 학습 및 기울기 흐름을 향상시켜 복잡한 작업에서 견고한 성능 기여를 한다.