[논문 리뷰] EventDrop: data augmentation for event-based learning

Fuqiang Gu, Weicong Sng외 2명|arXiv (Cornell University)|2021. 06. 07.

Advanced Memory and Neural Computing참고 문헌 28인용 수 4

한 줄 요약

이 논문은 이벤트 기반 학습을 위한 간단하고 계산적으로 효율적인 데이터 증강 방법인 EventDrop을 제안한다. 이는 랜덤, 시간 기반, 영역 기반의 세 가지 전략을 사용하여 이벤트를 제거함으로써 모델의 일반화 능력을 향상시킨다. N-Caltech101 및 N-Cars 데이터셋에서 다양한 딥 네트워크를 대상으로 분류 정확도를 크게 향상시키며, ResNet-34를 사용한 EST 표현에서 최대 95.5%의 정확도를 기록한다.

ABSTRACT

The advantages of event-sensing over conventional sensors (e.g., higher dynamic range, lower time latency, and lower power consumption) have spurred research into machine learning for event data. Unsurprisingly, deep learning has emerged as a competitive methodology for learning with event sensors; in typical setups, discrete and asynchronous events are first converted into frame-like tensors on which standard deep networks can be applied. However, over-fitting remains a challenge, particularly since event datasets remain small relative to conventional datasets (e.g., ImageNet). In this paper, we introduce EventDrop, a new method for augmenting asynchronous event data to improve the generalization of deep models. By dropping events selected with various strategies, we are able to increase the diversity of training data (e.g., to simulate various levels of occlusion). From a practical perspective, EventDrop is simple to implement and computationally low-cost. Experiments on two event datasets (N-Caltech101 and N-Cars) demonstrate that EventDrop can significantly improve the generalization performance across a variety of deep networks.

연구 동기 및 목표

• 작은 데이터셋 크기로 인한 이브넷 기반 딥 러닝에서의 과적합 문제를 해결하기 위해.
• 데이터 수집 비용을 늘리지 않고도 훈련 데이터의 다양성을 증가시켜 모델의 일반화 능력을 향상시키기 위해.
• 비동기 이브넷 데이터에 특화된 경량의 입력 영역 데이터 증강 방법을 개발하기 위해.
• 다양한 이벤트 표현 방식과 네트워크 아키텍처에서 이브넷 제거 전략의 효과를 평가하기 위해.

제안 방법

• EventDrop는 랜덤 제거, 시간 기반 제거, 영역 기반 제거의 세 가지 이브넷 제거 전략을 도입하며, 각 전략은 가림 또는 센서 노이즈를 시뮬레이션하도록 설계되었다.
• 각 전략에 대해 고정 확률(0.5)로 이브넷을 제거하며, 제거 정도는 사전 정의된 집합에서 무작위로 샘플링된다.
• 이 방법은 딥 네트워크에 입력되는 이브넷 데이터 위에서 직접 작동하므로 DNN 및 SNN 모두와 호환된다.
• EventDrop는 세 전략을 동일한 확률로 조합하여 각 훈련 샘플에 대해 동적 증강을 가능하게 한다.
• 계산적으로 효율적이며 추가 학습 가능한 파rameter가 필요 없어 기존 훈련 파ip라인에 쉽게 통합할 수 있다.
• 이 방법의 강건성 평가를 위해 일반적인 입력 형식인 이브넷 프레임, 이브넷 수량, 볼록 격자, EST 표현을 사용한다.

실험 결과

연구 질문

• RQ1 구조적으로 이브넷을 제거하는 방식이 이브넷 기반 딥 러닝에서 일반화 능력을 향상시키는가?
• RQ2 다양한 이브넷 표현 방식에서 랜덤, 시간 기반, 영역 기반 제거 전략이 모델 성능에 미치는 영향은 어떠한가?
• RQ3 실제 및 시뮬레이션된 이브넷 데이터셋에서 표준 기준 및 기존 증강 기법에 비해 EventDrop가 정확도와 강건성 측면에서 뛰어나게 되는가?
• RQ4 훈련 데이터의 양이 EventDrop의 효과성에 미치는 영향은 기준 방법과 비교해 어떻게 다를까?

주요 결과

• ResNet-34를 사용한 EST 표현에서 EventDrop는 N-Cars 데이터셋에서 테스트 정확도 95.50%를 기록했으며, 기준값 91.03%보다 뚜렷이 높았다.
• N-Caltech101 데이터셋에서 EventDrop는 EST 표현으로 85.15%의 정확도를 기록했으며, 기준값 83.91%보다 높았다.
• 모든 이브넷 표현 방식과 테스트한 네트워크 아키텍처(ResNet-34 및 VGG-16 포함)에서 일관되게 성능 향상을 보였다.
• 훈련 데이터의 10%만으로도 EventDrop는 N-Cars에서 약 94%의 정확도를 기록했으며, 기준값 약 91.5%보다 높았다. 이는 데이터 부족 상황에서도 강건함을 보여준다.
• 실제 N-Cars 데이터셋에서 영역 기반 제거와 EventDrop가 가장 뚜렷한 성능 향상을 보였으며, 센서 노이즈와 가림 현상 처리에 효과적임을 시사한다.
• EST 표현을 사용할 때 성능 향상이 가장 두드러졌으며, 이는 EventDrop가 고해상도 이브넷 표현과 특히 잘 어울진다는 것을 의미한다.