[論文レビュー] EventMix: An Efficient Augmentation Strategy for Event-Based Data

Guobin Shen, Dongcheng Zhao+1 more|arXiv (Cornell University)|May 24, 2022

Advanced Memory and Neural Computing被引用数 9

ひとこと要約

本論文は、ガウス・ミックスチャネル・モデルを用いてランダムな3次元マスクを生成することで、イベントストリームの任意の空間時間的混合を可能にする、効率的なイベントベースデータの増強戦略であるEventMixを提案する。本手法は、相対的距離とイベント数に基づく新しいラベル重み割り当てを導入し、人工ニューラルネットワーク（ANNs）およびスパikingニューラルネットワーク（SNNs）のニューロモーフィックデータセットにおいて顕著な性能向上を達成し、DVS-CIFAR10、N-Caltech101、N-CARS、DVS-Gestureで最先端の結果を達成した。

ABSTRACT

High-quality and challenging event stream datasets play an important role in the design of an efficient event-driven mechanism that mimics the brain. Although event cameras can provide high dynamic range and low-energy event stream data, the scale is smaller and more difficult to obtain than traditional frame-based data, which restricts the development of neuromorphic computing. Data augmentation can improve the quantity and quality of the original data by processing more representations from the original data. This paper proposes an efficient data augmentation strategy for event stream data: EventMix. We carefully design the mixing of different event streams by Gaussian Mixture Model to generate random 3D masks and achieve arbitrary shape mixing of event streams in the spatio-temporal dimension. By computing the relative distances of event streams, we propose a more reasonable way to assign labels to the mixed samples. The experimental results on multiple neuromorphic datasets have shown that our strategy can improve its performance on neuromorphic datasets both for ANNs and SNNs, and we have achieved state-of-the-art performance on DVS-CIFAR10, N-Caltech101, N-CARS, and DVS-Gesture datasets.

研究の動機と目的

• ニューロモーフィックコンピューティングにおけるモデルの一般化性能と学習安定性を阻害する小規模で疎なイベントストリームデータセットの課題に対処すること。
• イベントストリーム・データの空間時間的ダイナミクスと疎らさに特化したデータ増強戦略を開発し、従来の画像ベースの増強手法の限界を克服すること。
• より効果的なデータ混合とラベル割り当てを通じて、人工ニューラルネットワーク（ANNs）およびスパikingニューラルネットワーク（SNNs）のイベントベースデータセットにおけるモデル性能を向上させること。
• CutMixのような固定形状のマスクに依存せずに、効率的かつ多様なデータ混合パターンを実現し、モデルの一般化性能を向上させること。

提案手法

• EventMixは、ガウス・ミックスチャネル・モデルを用いてランダムな3次元マスクを生成し、空間的および時間的次元における柔軟で任意形状のイベントストリーム混合を可能にする。
• 本手法は、イベントデータの動的性質を尊重する空間時間的マスク生成プロセスを導入し、単調な長方形または正方形のマスクを回避する。
• 相対的距離に基づくラベル重み割り当てと、混合領域内のイベント数に基づくラベル重み割り当ての2つの戦略を提案する。
• 混合サンプルの異なる領域におけるイベントの寄与度を考慮することで、より正確で合理的なラベル割り当てを保証するラベル混合戦略を採用する。
• 本手法はANNsおよびSNNsの両方と互換性があり、複数のベンチマーク・ニューロモーフィックデータセットで標準アーキテクチャ（例：ResNet34-ANN）を用いて評価されている。
• 計算コストの増加を最小限に抑えつつ、データの多様性とモデルの耐性を最大化するように設計されており、効率的かつスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ミックスチャネル・モデルに基づく3次元マスク生成戦略は、イベントストリーム・データ増強におけるデータ混合の多様性とモデルの一般化性能を向上させることができるか？
• RQ2 相対的距離に基づくラベル割り当てとイベント数に基づくラベル割り当てのどちらが、サンプル混合時の意味的正確性をよりよく保持するか？
• RQ3 EventMixは、MixUp や CutMix といった従来の増強ベースラインと比較して、小規模なニューロモーフィックデータセットにおける性能向上をどの程度達成できるか？
• RQ4 EventMixは、ANNsおよびSNNsといった異なるモデルタイプにおいて、多様なイベントベースのベンチマークで一貫した性能向上を達成できるか？
• RQ5 EventMixは、特に訓練データのわずかな割合しか利用できない低データ環境において、どの程度効果的か？

主な発見

• ResNet34-ANNを用いたDVS-CIFAR10データセットでは、EventMixがベースラインのデータ増強手法に対して3.01%の精度向上を達成し、最良のコンポーネント組み合わせで最適化された。
• DVS-CIFAR10では、同一の学習条件下でCutMixと比較して、EventMixが2.45%の性能向上を達成した。
• N-Caltech101では、CutMixと比較して2.36%の性能向上を達成し、データセット間で一貫した向上を示した。
• DVS-Gestureデータセットでは、CutMixと比較して4.69%の向上を達成し、極めて疎なデータに対して高い有効性を示した。
• N-Caltech101の訓練データの10%のみを用いた場合、EventMixは54.06%の検証精度を達成し、形態的データ増強手法と比較して7.28%の向上を示した。
• EventMixは、ANNsおよびSNNsの両方において、DVS-CIFAR10、N-Caltech101、N-CARS、DVS-Gestureで最先端の性能を達成し、広範な有効性を確認した。