[論文レビュー] From Chaos Comes Order: Ordering Event Representations for Object Recognition and Detection

Nikola Zubić, Daniel Gehrig+2 more|arXiv (Cornell University)|Apr 26, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、オブジェクト認識および検出のためのイベント表現の順序付けと最適化を、高価なニューラルネットワークの訓練を回避して高速に実行する、Gromov-Wasserstein不一致（GWD）に基づく手法を提案する。GWDが下流タスクの性能と強く相関することを示し、6.0 mAPの向上を達成する12チャネルの新しいイベント表現（ERGO-12）を発見した。これは1 Mpxデータセットで最先端手法を6.0 mAP上回り、mini-ImageNetでは3.8%の向上を達成した。

ABSTRACT

Today, state-of-the-art deep neural networks that process events first convert them into dense, grid-like input representations before using an off-the-shelf network. However, selecting the appropriate representation for the task traditionally requires training a neural network for each representation and selecting the best one based on the validation score, which is very time-consuming. This work eliminates this bottleneck by selecting representations based on the Gromov-Wasserstein Discrepancy (GWD) between raw events and their representation. It is about 200 times faster to compute than training a neural network and preserves the task performance ranking of event representations across multiple representations, network backbones, datasets, and tasks. Thus finding representations with high task scores is equivalent to finding representations with a low GWD. We use this insight to, for the first time, perform a hyperparameter search on a large family of event representations, revealing new and powerful representations that exceed the state-of-the-art. Our optimized representations outperform existing representations by 1.7 mAP on the 1 Mpx dataset and 0.3 mAP on the Gen1 dataset, two established object detection benchmarks, and reach a 3.8% higher classification score on the mini N-ImageNet benchmark. Moreover, we outperform state-of-the-art by 2.1 mAP on Gen1 and state-of-the-art feed-forward methods by 6.0 mAP on the 1 Mpx datasets. This work opens a new unexplored field of explicit representation optimization for event-based learning.

研究の動機と目的

• 候補となる各イベント表現について、ニューラルネットワークを完全に訓練する必要がある高コストな評価を回避するため。
• 下流タスクの性能によってイベント表現の順序付けを保つ、高速で信頼性の高いメトリクスを同定するため。
• 効率的なプロキシメトリクスを用いて、イベント表現のスケールの大きなハイパラメータサーチを可能にするため。
• 従来の最先端手法を上回る、新しい高性能なイベント表現を発見するため。

提案手法

• 原始的なイベントとその密な表現の間の歪みを測るため、プロキシメトリクスとしてGromov-Wasserstein不一致（GWD）を提案する。
• GWDを用いてニューラルネットワークの訓練なしに表現を順序付け、完全な訓練ループと比較して評価時間を約200倍短縮する。
• GWDが複数のデータセット、バックボーン、タスクにおいて、表現の相対的性能順序を保持することを実証する。
• GWDを用いて、空間的・時間的・チャネルワイドな設定を含む、広大なイベント表現のファミリーにおけるハイパラメータサーチを実施する。
• GWDを目的関数として用いて、時間窓、空間的ビニング、特徴正規化などの表現パラメータを最適化する。
• アフィン変換や特徴の連結に対して一貫性を示す不変性解析を導入し、GWDが信頼性の高いプロキシメトリクスであることを強化する。

実験結果

リサーチクエスチョン

• RQ1 高速で微分可能なプロキシメトリクスが、イベント表現の評価における完全なニューラルネットワーク訓練に置き換え可能か？
• RQ2 Gromov-Wasserstein不一致（GWD）は、多様なデータセットやネットワークアーキテクチャにおいて、イベント表現の相対的順序を保持するか？
• RQ3 GWDが、広大なイベント表現の空間における効果的なハイパラメータサーチを可能にし、新たな高性能な設定を発見できるか？
• RQ4 発見された表現は、オブジェクト検出および分類タスクにおいて、既存の最先端手法と比較してどの程度の性能向上を達成するか？
• RQ5 GWDメトリクスは、イベント表現における一般的な変換（アフィンスケーリングや特徴連結）に対してどれほど頑健か？

主な発見

• GWDメトリクスは下流タスクの性能と強く相関しており、ニューラルネットワークの訓練なしにイベント表現の順序付けを正確に行える。
• 提案手法により、完全な訓練ループと比較して表現評価時間を約200倍短縮できた。
• 最適化された12チャネルのイベント表現（ERGO-12）は、1 Mpxオブジェクト検出ベンチマークで、最先端のフォワードパス手法を6.0 mAP上回った。
• ERGO-12はGen1データセットでmAPを2.1向上させ、最先端手法を上回り、mini-ImageNetベンチマークでは分類精度を3.8%向上させた。
• 本手法により、9チャネル（ERGO-9）および7チャネル（ERGO-7）の表現も、MDES や Voxel Grid などの既存のベースラインを上回ることが判明した。
• 定性的な結果から、ERGO-12は正解に存在しないオブジェクトを検出できており、一般化性能および耐障害性の向上を示している。