[論文レビュー] EventFlash: Towards Efficient MLLMs for Event-Based Vision

Shaoyu Liu, Jianing Li+5 more|arXiv (Cornell University)|Feb 3, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

EventFlashはイベントベースの視覚処理に時空トークンのスパース化を導入し、ベースラインよりはるかに高いスループットを実現しつつ精度をほぼ維持、最大1000ビンまでの長距離イベントストリーム処理を可能とする。

ABSTRACT

Event-based multimodal large language models (MLLMs) enable robust perception in high-speed and low-light scenarios, addressing key limitations of frame-based MLLMs. However, current event-based MLLMs often rely on dense image-like processing paradigms, overlooking the spatiotemporal sparsity of event streams and resulting in high computational cost. In this paper, we propose EventFlash, a novel and efficient MLLM to explore spatiotemporal token sparsification for reducing data redundancy and accelerating inference. Technically, we build EventMind, a large-scale and scene-diverse dataset with over 500k instruction sets, providing both short and long event stream sequences to support our curriculum training strategy. We then present an adaptive temporal window aggregation module for efficient temporal sampling, which adaptively compresses temporal tokens while retaining key temporal cues. Finally, a sparse density-guided attention module is designed to improve spatial token efficiency by selecting informative regions and suppressing empty or sparse areas. Experimental results show that EventFlash achieves a $12.4\times$ throughput improvement over the baseline (EventFlash-Zero) while maintaining comparable performance. It supports long-range event stream processing with up to 1,000 bins, significantly outperforming the 5-bin limit of EventGPT. We believe EventFlash serves as an efficient foundation model for event-based vision.

研究の動機と目的

• sparseなイベントストリームの dense な画像ライク処理による計算コストの非効率性をMLLMsで解決する。
• データの冗長性を削減し、イベントデータ上の推論を加速する時空トークンスパース化フレームワークを開発する。
• 大規模で多様なEventMindデータセットを作成し、長距離イベント理解のカリキュラム学習をサポートする。
• 時間的手がかりと重要領域を保持するための適応的時間サンプリングと密度誘導型空間注意を提案する。
• 提案手法が比較可能な性能を維持しつつ、スループットを大きく向上させることを示す。

提案手法

• 時間的トークンを圧縮しつつ主要な運動手がかりを保持するAdaptive Temporal Window Aggregation (ATWA)。
• 情報量の多い領域を選択し低密度領域を抑制するSparse Density-Guided Attention (SDGA)。
• イベントエンコーダ（例：CLIP-ViT）とイベント言語プロジェクターを用いてイベントトークンをテキストトークンと整合させる。
• コンパクトなイベントトークンとテキストトークンをLLMデコーダ（例：Qwen-2.5）で統合する。
• 意味的類似度とイベント密度ウェイティングによる時相的スパ sparsificationのための二段階密度認識的マージ。
• 短から長へと構成するカリキュラム学習（短-長のイベントストリーム）で長距離理解の一般化を高める。

Figure 1: Instructions and data statistics of our EventMind. (a) Seven tasks instructions for event stream understanding. (b) Data distributions of each task. (c) Data distributions of the three stages.

実験結果

リサーチクエスチョン

• RQ1 イベントストリームの時空スパース化はイベントベースのMLLMsにおける冗長性をどう削減し、効率をどう改善するか？
• RQ2 自適応的時間サンプリングと密度誘導型空間注意は、重要な時間と空間の手がかりを保持しつつ高スループットを達成できるか？
• RQ3 短いイベントストリームから長いものへと進むカリキュラムは、マルチモーダルなイベントベースモデルの一般化と推論を改善するか？
• RQ4 EventFlashの長距離イベントシーケンス（最大1000ビン）における性能と効率のトレードオフはどうか？
• RQ5 EventFlashは多様なイベントストリームタスクで既存のイベントベースおよびビデオベースのMLLMsと比較してどうか？

主な発見

• EventFlashはベースライン（EventFlash-Zero）より12.4x高いスループットを達成し、タスク性能は同等。
• モデルは長距離イベントストリームを最大1,000ビンまでサポート、競合のEventGPTの5ビン制限を上回る。
• スループットは28.5トークン/秒（3B/7Bバリアントで示される）で、GDC、FGQA、HAQA、MCQAで強力な結果を達成。
• 時間的および空間的スパース化の両方が効率向上に寄与し、組み合わせたスパース化が最大の速度向上を生む。
• 大規模なEventMindデータセット（50万の指示サンプル）は短・中・長のイベント列に対するカリキュラム学習を支援。
• オープンエンドの評価は高速・低照度環境でのEventFlashの頑健性を示す。

Figure 2: The pipeline of efficient MLLMs ( EventFlash ). The adaptive temporal window aggregation module is presented for efficient temporal sampling, which adaptively compresses temporal tokens while retaining key temporal cues. Besides, the sparse density-guided attention module is designed to im