[論文レビュー] EventDrop: data augmentation for event-based learning

Fuqiang Gu, Weicong Sng+2 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Memory and Neural Computing参考文献 28被引用数 4

ひとこと要約

本稿では、イベントベースの学習のためのシンプルで計算効率の良いデータ拡張手法であるEventDropを提案する。この手法は、ランダム、時間ベース、領域ベースの3つの戦略を用いてイベントをドロップすることで、モデルの汎化性能を向上させる。N-Caltech101およびN-Carsデータセットにおいて、複数の深層ネットワークで分類精度を顕著に向上させ、ResNet-34を用いたEST表現では最大95.5%の精度を達成した。

ABSTRACT

The advantages of event-sensing over conventional sensors (e.g., higher dynamic range, lower time latency, and lower power consumption) have spurred research into machine learning for event data. Unsurprisingly, deep learning has emerged as a competitive methodology for learning with event sensors; in typical setups, discrete and asynchronous events are first converted into frame-like tensors on which standard deep networks can be applied. However, over-fitting remains a challenge, particularly since event datasets remain small relative to conventional datasets (e.g., ImageNet). In this paper, we introduce EventDrop, a new method for augmenting asynchronous event data to improve the generalization of deep models. By dropping events selected with various strategies, we are able to increase the diversity of training data (e.g., to simulate various levels of occlusion). From a practical perspective, EventDrop is simple to implement and computationally low-cost. Experiments on two event datasets (N-Caltech101 and N-Cars) demonstrate that EventDrop can significantly improve the generalization performance across a variety of deep networks.

研究の動機と目的

• 小さなデータセットサイズに起因するイベントベースの深層学習における過学習の問題に対処すること。
• データ収集コストを増加させることなく、訓練データの多様性を高めることでモデルの汎化性能を向上させること。
• 非同期イベントデータに特化した、軽量で入力空間におけるデータ拡張手法を開発すること。
• 異なるイベント表現およびネットワークアーキテクチャにおいて、イベントドロップ戦略の有効性を評価すること。

提案手法

• EventDropは、ランダムドロップ、時間別ドロップ、領域別ドロップの3つのイベントドロップ戦略を導入し、それぞれが遮蔽やセンサーノイズを模倣することを目的としている。
• 各戦略に対して固定確率（0.5）でイベントがドロップされ、ドロップの程度は事前に定義されたセットからランダムに抽出される。
• この手法は、深層ネットワークに供給する前の入力イベントデータに対して直接適用されるため、DNNおよびSNNの両方と互換性がある。
• EventDropは3つの戦略を等確率で組み合わせ、各訓練サンプルに対して動的拡張を可能にする。
• 計算効率が高く、追加の学習可能なパラメータを必要としないため、既存の訓練パイプラインへの統合が容易である。
• 一般的な入力形式として、イベントフレーム、イベントカウント、ボクセルグリッド、およびESTが使用され、本手法の堅牢性をさまざまなイベント表現で評価した。

実験結果

リサーチクエスチョン

• RQ1 構造的にイベントをドロップすることで、イベントベースの深層学習における汎化性能が向上するか？
• RQ2 異なるイベントドロップ戦略（ランダム、時間ベース、領域ベース）が、さまざまなイベント表現においてモデル性能に与える影響は何か？
• RQ3 実世界およびシミュレートされたイベントデータセットにおいて、EventDropは標準的なベースラインおよび既存の拡張技術を上回る精度と頑健性を達成するか？
• RQ4 訓練データ量の違いが、EventDropの有効性（ベースライン手法と比較して）に与える影響は何か？

主な発見

• N-Carsデータセットにおいて、ResNet-34を用いたEST表現で、EventDropは95.50%のテスト精度を達成した。これはベースラインの91.03%を顕著に上回る。
• N-Caltech101データセットでは、EST表現を用いたEventDropは85.15%の精度を達成したのに対し、ベースラインは83.91%であった。
• 本手法は、テストされたすべてのイベント表現およびネットワークアーキテクチャ（ResNet-34およびVGG-16を含む）において一貫して性能向上を示した。
• 訓練データの10%のみを用いても、EventDropはN-Carsで約94%の精度を達成した。これはベースラインの約91.5%よりも顕著に高い。データ不足に強いことが示された。
• 実世界のN-Carsデータセットでは、領域別ドロップとEventDropが最も顕著な向上を示し、センサーノイズおよび遮蔽の処理に有効であることが示唆された。
• 特に高精細なイベント表現（EST表現）を用いた場合、性能向上が顕著に現れた。これは、EventDropが高品質なイベント表現に対して特に効果的であることを示している。