[논문 리뷰] EventMix: An Efficient Augmentation Strategy for Event-Based Data

Guobin Shen, Dongcheng Zhao외 1명|arXiv (Cornell University)|2022. 05. 24.

Advanced Memory and Neural Computing인용 수 9

한 줄 요약

이 논문은 이벤트 기반 데이터를 위한 효율적인 데이터 증강 전략인 EventMix를 제안한다. 이는 이벤트 스트림의 임의의 시공간 혼합을 가능하게 하기 위해 가우시안 믹스처 모델을 사용하여 랜덤 3D 마스크를 생성한다. 새로운 레이블 가중치 할당 방식을 도입하여 상대적 거리와 이벤트 수를 기반으로 하여, 인공신경망(ANNs)과 스파iking 신경망(SNNs) 모두에서 뉴모르픽 데이터셋에서 성능을 크게 향상시켰으며, DVS-CIFAR10, N-Caltech101, N-CARS, DVS-Gesture에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

High-quality and challenging event stream datasets play an important role in the design of an efficient event-driven mechanism that mimics the brain. Although event cameras can provide high dynamic range and low-energy event stream data, the scale is smaller and more difficult to obtain than traditional frame-based data, which restricts the development of neuromorphic computing. Data augmentation can improve the quantity and quality of the original data by processing more representations from the original data. This paper proposes an efficient data augmentation strategy for event stream data: EventMix. We carefully design the mixing of different event streams by Gaussian Mixture Model to generate random 3D masks and achieve arbitrary shape mixing of event streams in the spatio-temporal dimension. By computing the relative distances of event streams, we propose a more reasonable way to assign labels to the mixed samples. The experimental results on multiple neuromorphic datasets have shown that our strategy can improve its performance on neuromorphic datasets both for ANNs and SNNs, and we have achieved state-of-the-art performance on DVS-CIFAR10, N-Caltech101, N-CARS, and DVS-Gesture datasets.

연구 동기 및 목표

• 뉴모르픽 컴퓨팅에서 모델 일반화 및 훈련 안정성에 악영향을 미치는 소규모, 희소한 이벤트 스트림 데이터셋 문제를 해결하기 위해.
• 기존의 이미지 기반 증강 방법의 한계를 극복하기 위해, 이벤트 스트림 데이터의 시공간 동적 특성과 희소성에 특화된 데이터 증강 전략을 개발하기 위해.
• 더 효과적인 데이터 혼합 및 레이블 할당을 통해 인공신경망(ANNs)과 스파킹 신경망(SNNs) 모두에서 이벤트 기반 데이터셋의 모델 성능을 향상시키기 위해.
• CutMix와 같이 고정된 형태의 마스크에 의존하지 않고, 모델 일반화를 향상시키기 위해 효율적이고 다양한 데이터 혼합 패턴을 가능하게 하기 위해.

제안 방법

• EventMix는 이벤트 스트림의 유연하고 임의의 형태의 시공간 혼합을 가능하게 하기 위해 가우시안 믹스처 모델을 사용하여 랜덤 3D 마스크를 생성한다.
• 이 방법은 이벤트 데이터의 동적 특성을 고려한 시공간 마스크 생성 과정을 도입하여, 단조로운 직사각형 또는 정사각형 마스크를 방지한다.
• 두 가지 레이블 가중치 할당 전략을 제안한다: 하나는 원본 및 혼합 샘플 간의 상대적 거리에 기반한 것이고, 다른 하나는 혼합 영역 내 이벤트 수에 기반한 것이다.
• 레이블 혼합 전략은 혼합 샘플의 다양한 영역에서 이벤트의 기여도를 고려함으로써 더 정확하고 합리적인 레이블 할당을 보장한다.
• 이 방법은 인공신경망(ANNs)과 스파킹 신경망(SNNs) 모두와 호환되며, 다양한 벤치마크 뉴모르픽 데이터셋에서 표준 아키텍처인 ResNet34-ANN을 사용해 평가된다.
• 이 방법은 계산 오버헤드를 최소화하면서도 데이터 다양성과 모델 강건성을 극대화하기 위해 효율적이고 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 가우시안 믹스처 모델 기반의 3D 마스크 생성 전략이 이벤트 스트림 데이터 증강에서 데이터 혼합 다양성과 모델 일반화를 향상시키는가?
• RQ2 레이블 할당에서 상대적 거리 기반 전략과 이벤트 수 기반 전략을 비교할 때, 샘플 혼합 중 의미 정확성을 유지하는 데 어떤 것이 더 우수한가?
• RQ3 EventMix는 기존의 증강 기반 기법인 MixUp과 CutMix에 비해 소규모 뉴모르픽 데이터셋에서 성능을 얼마나 향상시키는가?
• RQ4 EventMix는 다양한 이벤트 기반 벤치마크에서 인공신경망(ANNs)과 스파킹 신경망(SNNs) 모두에서 일관된 성능 향상을 유지하는가?
• RQ5 EventMix는 특히 훈련 데이터의 소수만 존재하는 저자료 환경에서 얼마나 효과적인가?

주요 결과

• ResNet34-ANN를 사용한 DVS-CIFAR10 데이터셋에서 EventMix는 최적의 구성 조합을 통해 기준 데이터 증강 기법보다 3.01%의 정확도 향상을 달성하였다.
• DVS-CIFAR10에서 EventMix는 동일한 훈련 조건 하에서 CutMix 대비 2.45% 성능 향상을 보였다.
• N-Caltech101에서 EventMix는 CutMix 대비 2.36% 성능 향상을 보여주었으며, 다양한 데이터셋에서의 일관된 성능 향상을 입증하였다.
• DVS-Gesture 데이터셋에서 EventMix는 CutMix 대비 4.69% 성능 향상을 기록하여, 매우 희소한 데이터에서의 효과성을 입증하였다.
• N-Caltech101 훈련 세트의 10%만을 사용할 경우, EventMix는 검증 정확도 54.06%를 기록하였으며, 형태학적 데이터 증강 대비 7.28% 향상된 성능을 보였다.
• EventMix는 인공신경망(ANNs)과 스파킹 신경망(SNNs) 모두에서 DVS-CIFAR10, N-Caltech101, N-CARS, DVS-Gesture에서 최신 기술 수준의 성능을 달성하여 광범위한 효과성을 확인하였다.