[論文レビュー] SpikeMba: Multi-Modal Spiking Saliency Mamba for Temporal Video Grounding

Wenrui Li, Xiaopeng Hong+2 more|arXiv (Cornell University)|Apr 1, 2024

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

SpikeMbaは、時間的動画グランドイングのための新しいマルチモーダルスパiking注意SNNMambaネットワークを提案する。スパッキングニューラルネットワーク（SNN）を用いて動的な注目度提案を検出するとともに、学習可能な関連スロットを導入し、長時間の記憶を強化する。このモデルは、85.6%のR1およびQVHighlightsテストセットでの75.5%のmAPを達成し、文脈的推論と注目度局所化の向上により、先行手法を上回る最先端の性能を発揮する。

ABSTRACT

Temporal video grounding (TVG) is a critical task in video content understanding, requiring precise alignment between video content and natural language instructions. Despite significant advancements, existing methods face challenges in managing confidence bias towards salient objects and capturing long-term dependencies in video sequences. To address these issues, we introduce SpikeMba: a multi-modal spiking saliency mamba for temporal video grounding. Our approach integrates Spiking Neural Networks (SNNs) with state space models (SSMs) to leverage their unique advantages in handling different aspects of the task. Specifically, we use SNNs to develop a spiking saliency detector that generates the proposal set. The detector emits spike signals when the input signal exceeds a predefined threshold, resulting in a dynamic and binary saliency proposal set. To enhance the model's capability to retain and infer contextual information, we introduce relevant slots which learnable tensors that encode prior knowledge. These slots work with the contextual moment reasoner to maintain a balance between preserving contextual information and exploring semantic relevance dynamically. The SSMs facilitate selective information propagation, addressing the challenge of long-term dependency in video content. By combining SNNs for proposal generation and SSMs for effective contextual reasoning, SpikeMba addresses confidence bias and long-term dependencies, thereby significantly enhancing fine-grained multimodal relationship capture. Our experiments demonstrate the effectiveness of SpikeMba, which consistently outperforms state-of-the-art methods across mainstream benchmarks.

研究の動機と目的

• 動画グランドイングにおいて、注目すべき対象に過剰に自信を持つバイアスを是正すること。これは、意味的に関連するが繊細な行動が無視されがちな現象である。
• 長時間の動画シーケンスの制限を克服し、記憶容量を向上させるとともに、長期的な依存関係を効果的にモデル化すること。
• スパッキングニューラルネットワークを活用して、細粒度の注目度提案を検出することで、マルチモーダル特徴の統合を向上させること。
• 適応的関連スロットを備えた文脈的モーメントリーダーを用いて、文脈情報の保持と意味的関連性の探索のバランスを取ること。
• 効率的な状態空間モデル（SSM）を用いて、計算コストを低減しながらも、時間的動画グランドイングの高パフォーマンスを維持すること。

提案手法

• しきい値機構を介してバイナリスパイトシーケンスを生成するSNNに基づくスパッキング注目度検出器を導入し、時間ステップに適応した動的な提案生成を可能にする。
• 事前知識をエンコードし、多段階のマルチモーダル特徴を効果的に選択的に表現する学習可能なテンソルである関連スロットを提案する。これにより、長時間の動画における記憶能力が向上する。
• 関連スロットを活用して、文脈の保持と意味的関連性の探索のバランスを取る文脈的モーメントリーダー（CMR）を設計する。
• 状態空間モデル（SSM）に基づくマルチモーダル関連Mambaブロックを採用し、線形計算量で長距離依存関係をモデル化する。
• 特徴表現の精錬と提案精度の向上を図るため、対照的損失とスパッキング提案損失を統合する。
• SSMにおける動的パrameter化を用い、入力に応じて情報の伝搬または忘却を適応的に制御することで、関連する動画セグメントへの応答性を向上させる。

Figure 1 : An illustration of the challenges in video grounding task (left) and the overall architecture of our proposed model (right). On the left, a scenario underscores the problem of confidence bias towards salient objects, with models overemphasizing dramatic changes. On the right, we employ th

実験結果

リサーチクエスチョン

• RQ1 スパッキングニューラルネットワークは、マルチモーダル動画グランドイングタスクにおいて、細粒度の注目度提案を効果的に検出できるか？
• RQ2 学習可能な関連スロットは、長時間の動画シーケンスにおける記憶容量と文脈理解をどのように向上させるか？
• RQ3 文脈的モーメントリーダーは、動画グランドイングにおいて、意味的関連性と文脈の保持のバランスをどの程度適切に取っているか？
• RQ4 SNNとSSMの統合は、従来のTransformerベースのモデルと比較して、精度と効率の両面で優れているか？
• RQ5 異なるスパッキング時間ステップと損失成分は、ベンチマークデータセットにおけるモデルのパフォーマンスにどのように影響を与えるか？

主な発見

• SpikeMbaは、QVHighlightsテストセットで85.6%のRecall@0.5および75.5%のmAPを達成し、最先端の手法を上回る性能を発揮した。
• アブレーションスタディの結果、文脈的モーメントリーダー（CMR）を削除すると、テストセットでのmAP（平均）が35.46%に低下し、その意味的推論における重要性が明確になった。
• スパッキング注目度検出器を導入することで、SSDを備えないベースラインと比較してmAP（平均）が4.8%向上し、注目度局所化における有効性が裏付けられた。
• スパッキング時間ステップをT=4からT=8に増加させると、mAP（平均）は42.03%から44.81%に上昇し、時間分解能の向上に伴い、より優れた時間的処理が実現した。
• 対照的損失を削除すると、テストセットでのmAP（平均）が41.70%に低下し、判別的特徴表現の学習におけるその重要性が確認された。
• 関連スロットを備えたモデルは、それらを備えないバージョンよりも優れた性能を発揮し、特に高時間ステップで顕著であった。これは、複雑な時間的推論において関連スロットの価値を証明している。

Figure 2 : Architectural Overview of the Multi-Modal Spiking Saliency Mamba. The contextual moment reasoner dynamically leverages relevant slots for semantic association and inference. The spiking saliency detector generates a potential proposal set. The multi-modal relevant mamba block enhances lon