[논문 리뷰] EventNet: Asynchronous Recursive Event Processing

Yusuke Sekikawa, Kosuke O. Hara외 1명|arXiv (Cornell University)|2018. 12. 07.

Advanced Memory and Neural Computing참고 문헌 30인용 수 4

한 줄 요약

EventNet는 새로운 시간 코드화 기법과 다층 퍼셉트론(MLPs)의 병렬 룩업 테이블(LUT) 대체를 사용하여 이벤트 카메라에서 유입되는 이질적이고 비동기적인 이벤트 스트림을 실시간으로 처리할 수 있는 재귀적이고 이벤트 기반 신경망이다. 표준 CPU에서 100만 건 이상의 이벤트를 매초 처리할 수 있으며, 의미 분할 및 운동 추정과 같은 응용 분야에서 저지연, 비중복 추론을 가능하게 한다.

ABSTRACT

Event cameras are bio-inspired vision sensors that mimic retinas to asynchronously report per-pixel intensity changes rather than outputting an actual intensity image at regular intervals. This new paradigm of image sensor offers significant potential advantages; namely, sparse and non-redundant data representation. Unfortunately, however, most of the existing artificial neural network architectures, such as a CNN, require dense synchronous input data, and therefore, cannot make use of the sparseness of the data. We propose EventNet, a neural network designed for real-time processing of asynchronous event streams in a recursive and event-wise manner. EventNet models dependence of the output on tens of thousands of causal events recursively using a novel temporal coding scheme. As a result, at inference time, our network operates in an event-wise manner that is realized with very few sum-of-the-product operations---look-up table and temporal feature aggregation---which enables processing of 1 mega or more events per second on standard CPU. In experiments using real data, we demonstrated the real-time performance and robustness of our framework.

연구 동기 및 목표

• 이벤트 카메라에서 유입되는 희소하고 비동기적인 이벤트 데이터를 처리하는 데에 비효율적인 프레임 기반 딥 러닝 모델(예: CNNs)의 문제를 해결한다.
• 밀도 높은 동기 처리 방식에서 발생하는 계산의 중복을 피하기 위해 실시간으로 변화한 픽셀만 처리하는 네트워크를 설계한다.
• 이벤트 기반 특징 업데이트와 요청 시 출력 계산을 분리함으로써 저지연 실시간 추론을 가능하게 한다.
• 수천 개의 인과적 이벤트에 걸친 장기적 시간적 의존성을 효율적으로 모델링할 수 있는 재귀 아키텍처를 개발한다.
• 실제 이벤트 데이터를 사용하여 의미 분할, 물체 운동 추정, 자가 운동 추정과 같은 실제 시각 작업에의 적용 가능성을 입증한다.

제안 방법

• 단일 시간 코드화 레이어를 통해 복소수 위상 회전과 복소수 최대 풀링을 조합하여 시간적 의존성을 재귀적으로 수식화한다.
• 추론 시 계산 비용이 큰 다층 퍼셉트론(MLPs)을 학습된 룩업 테이블(LUT)로 대체하여 합-곱 연산 수를 극적으로 감소시킨다.
• 네트워크를 두 개의 비동기 모듈로 분해한다: 전역 특징 업데이트를 위한 이벤트 기반 모듈과 최종 출력 예측을 위한 요청 기반 모듈.
• 요청 시에만 최종 예측을 계산하기 위해 요청 기반 모듈에 경량 MLP를 사용하여 낭비적인 계산을 방지한다.
• 출력 레이어를 제외한 모든 레이어에 배치 정규화를 적용하여 학습 안정성 향상과 일반화 성능 향상을 도모한다.
• PointNet에서 영감을 얻은 순서 무관성의 특성을 최대 풀링을 통해 활용하여 비순서적인 이벤트 입력을 처리하지만, 시간적 이벤트 스트림에 맞게 적응시켰다.

실험 결과

연구 질문

• RQ1 입력 데이터를 밀도 높게 변환하지 않고도 신경망이 이벤트 기반으로 재귀적으로 비동기 이벤트 스트림을 처리할 수 있는가?
• RQ2 고속 이벤트 스트림에서 장기적 시간적 의존성을 고비용 계산 없이 효율적으로 모델링할 수 있는가?
• RQ3 복소수 위상 회전을 통한 명시적 시간 코드화가 단순 감쇠 또는 시간 모델링 없이 성능을 얼마나 향상시키는가?
• RQ4 MLP의 계산 블로킹 문제를 LUT 기반 분해를 통해 제거할 수 있는가? 이로 인해 정확도 손실이 발생하지는 않는가?
• RQ5 표준 CPU에서 재귀적이고 이벤트 기반 아키텍처를 사용해 1MHz 이상의 이벤트 처리를 실시간으로 달성할 수 있는가?

주요 결과

• EventNet는 표준 CPU에서 100만 건 이상의 이벤트를 매초 처리(1 MEPS)하여 고속 이벤트 스트림에 대한 실시간 처리 능력을 입증했다.
• MLPs의 LUT 기반 대체로 합-곱 연산 수가 감소하여 최소한의 지연으로 효율적인 이벤트 기반 처리가 가능했다.
• 요청 기반 추론 모듈은 1kHz 이상의 속도로 요청에 응답하여 저지연 출력 생성을 확인했다.
• 시간 감쇠 없이 구현된 EventNet는 재귀적 제약 조건을 충족하지 못해 1 MEPS를 실시간으로 처리할 수 없었으며, 이는 운동 추정 정확도가 가장 높았음에도 불구하고 그러한 실패를 겪었다.
• 시간 회전 없이 구현된 EventNet는 전체 모델보다 빠르지만 성능이 떨어졌으며, 이는 복소수 위상 회전이 시간 동적 특징을 포착하는 데 핵심적임을 시사한다.
• 시간 코드화 없이 구현된 변형(타임스탬프 입력 없이 PointNet과 동일한 구조)은 가장 열악한 성능을 보였고 실시간으로 작동하지 못했으며, 이는 확장성과 성능 향상을 위해 시간 코드화의 필요성을 강력히 입증한다.