[논문 리뷰] Attention Mechanisms for Object Recognition with Event-Based Cameras

Marco Cannici, Marco Ciccone외 2명|arXiv (Cornell University)|2018. 07. 25.

Advanced Memory and Neural Computing참고 문헌 33인용 수 4

한 줄 요약

이 논문은 이벤트 기반 카메라를 위한 두 가지 주의 메커니즘을 제안한다: 이벤트 활동을 추적하여 관심 영역을 식별하는 알고리즘 기반 방법과 재구성된 프레임에서 주목할 만한 패치를 적응적으로 추출하는 미분 가능한 DRAW 기반 주의 모델이다. 두 방법 모두 기준 모델인 Phased LSTM에 비해 번역 및 척도 불변성을 향상시키며, 특히 N-Caltech101 및 CIFAR10-DVS와 같은 다중 척도 데이터셋에서 더 나은 일반화 성능을 달성한다.

ABSTRACT

Event-based cameras are neuromorphic sensors capable of efficiently encoding visual information in the form of sparse sequences of events. Being biologically inspired, they are commonly used to exploit some of the computational and power consumption benefits of biological vision. In this paper we focus on a specific feature of vision: visual attention. We propose two attentive models for event based vision: an algorithm that tracks events activity within the field of view to locate regions of interest and a fully-differentiable attention procedure based on DRAW neural model. We highlight the strengths and weaknesses of the proposed methods on four datasets, the Shifted N-MNIST, Shifted MNIST-DVS, CIFAR10-DVS and N-Caltech101 collections, using the Phased LSTM recognition network as a baseline reference model obtaining improvements in terms of both translation and scale invariance.

연구 동기 및 목표

• 기존의 모델들인 Phased LSTM와 같은 전통적인 모델에서 여전히 도전 과제로 남아 있는 이벤트 기반 객체 인식에서의 번역 및 척도 불변성을 향상시키기 위해.
• 프레임 재구성에 의존하지 않고 이벤트 스트림에서 주목할 만한 영역에 집중할 수 있는 주의 메커니즘을 설계하여 뉴모르픽 센싱의 효율성을 유지하기 위해.
• 엔드 투 엔드 훈련에 호환되는 완전히 미분 가능한 주의 메커니즘을 개발하여 비미분 가능한 스파iking 네트워크의 한계를 극복하기 위해.
• 노이즈가 많고 복잡한 시나리오를 포함한 다양한 데이터셋에서 제안된 방법을 평가하여 강건성과 일반화 능력을 평가하기 위해.
• 프레임 재구성을 회피하면서도 성능을 유지할 수 있는 완전히 이벤트 기반 아키텍처를 탐색하기 위해.

제안 방법

• 알고리즘 기반 주의 메커니즘은 시공간적 이벤트 활동을 모니터링하여 재구성된 프레임에서 국소화된 패치를 추출함으로써 번역 불변성을 향상시킨다.
• DRAW 모델 기반의 미분 가능한 주의 메커니즘은 이벤트 기반 입력에 적응적으로 조정되어, 패치 추출을 위한 2차원 가우시안 필터 파라미터를 예측하는 순환 네트워크를 사용한다.
• N-DRAW 변종은 이벤트 시퀀스만을 사용하여 주의 필터를 예측함으로써 사전에 계산된 프레임에 의존하지 않고도 엔드 투 엔드 훈련을 가능하게 한다.
• Leaky Frame Integrator는 시간 평균화된 누설 통합 과정을 사용하여 이벤트에서 프레임을 재구성함으로써 시간 동적 특성을 유지하면서 노이즈를 감소시킨다.
• Phased LSTM 네트워크는 기준 모델로 사용되며, 주의 모듈이 관련 이벤트 시퀀스와 공간 영역을 선택적으로 처리하도록 통합된다.
• 주의 메커니즘은 객체의 척도에 따라 수용 영역 크기를 동적으로 조정하여 작은 또는 큰 객체에 대해 적응적인 줌 인 기능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 알고리즘 기반의 이벤트 활동 추적 메커니즘이 이벤트 기반 객체 인식에서 번역 불변성을 향상시킬 수 있는가?
• RQ2 DRAW와 같은 미분 가능한 주의 메커니즘이 이벤트 기반 데이터에 효과적으로 적응하여 척도 불변성을 향상시킬 수 있는가?
• RQ3 다양한 척도와 노이즈가 있는 데이터셋에서 주의 기반 모델은 기준 모델인 Phased LSTM에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 이벤트 기반 주의 메커니즘이 프레임 재구성 없이 얼마나 잘 작동할 수 있는가? 이는 뉴모르픽 센싱의 효율성을 유지하는가?
• RQ5 배경 및 전경 이벤트를 분리하기 어려운 고노이즈 환경에서 현재 주의 메커니즘의 한계는 무엇인가?

주요 결과

• 알고리즘 기반 주의 메커니즘은 객체 위치 변동이 있는 데이터셋에서 Phased LSTM 기준 모델에 비해 번역 불변성을 향상시켰다.
• N-DRAW 모델은 대부분의 데이터셋에서 패치 기반 방법과 유사한 성능을 달성하여 엔드 투 엔드 훈련 가능한 이벤트 기반 주의의 가능성을 입증했다.
• N-Caltech101 및 CIFAR10-DVS에서 두 제안된 모델 모두 Phased LSTM 기준 모델을 초월하여 일반화 및 강건성 측면에서 성능 향상을 보였다.
• N-DRAW 모델은 패치 크기를 적응적으로 조정함으로써 더 나은 척도 불변성을 달성했으며, 이는 작은 객체를 확대하고 큰 객체를 유지함으로써 특징 일관성을 향상시켰다.
• 개선에도 불구하고, 모델들은 상태최저 성능에 도달하지 못했다 (예: CIFAR10-DVS에서 65.43%), 주로 노이즈가 많은 환경에서 전경과 배경 이벤트를 구분하는 데 한계가 있었기 때문이다.
• 성능 격차는 훈련 데이터 부족과 뉴모르픽 도메인에서 사전 학습된 특징 추출기가 없는 상황에서 효과적인 필터 변환을 학습하는 데 어려움이 있었기 때문으로 기인되었다.