[論文レビュー] EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding

Jiazhou Zhou, Zheng Xu+2 more|arXiv (Cornell University)|Aug 6, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、階層的三重対照学習を用いて画像、テキスト、イベント埋め込みを統一的に整列させるために、特別なイベントエンコーダーとハイブリッドテキストプロンプトを導入した、E-CLIPという新規フレームワークを提案する。N-Caltech101およびN-ImageNetにおいて、微調整設定および20ショット設定でそれぞれ+3.94%および+4.77%の精度向上を達成し、イベントデータにおける強力な少サンプルおよびゼロショット一般化性能を示している。

ABSTRACT

In this paper, we propose EventBind, a novel and effective framework that unleashes the potential of vision-language models (VLMs) for event-based recognition to compensate for the lack of large-scale event-based datasets. In particular, due to the distinct modality gap with the image-text data and the lack of large-scale datasets, learning a common representation space for images, texts, and events is non-trivial.Intuitively, we need to address two key challenges: 1) how to generalize CLIP's visual encoder to event data while fully leveraging events' unique properties, e.g., sparsity and high temporal resolution; 2) how to effectively align the multi-modal embeddings, i.e., image, text, and events. Accordingly, we first introduce a novel event encoder that subtly models the temporal information from events and meanwhile, generates event prompts for modality bridging. We then design a text encoder that generates content prompts and utilizes hybrid text prompts to enhance EventBind's generalization ability across diverse datasets.With the proposed event encoder, text encoder, and image encoder, a novel Hierarchical Triple Contrastive Alignment (HTCA) module is introduced to jointly optimize the correlation and enable efficient knowledge transfer among the three modalities. We evaluate various settings, including fine-tuning and few-shot on three benchmarks, and our EventBind achieves new state-of-the-art accuracy compared with the previous methods, such as on N-Caltech101 (+5.34% and +1.70%) and N-Imagenet (+5.65% and +1.99%) with fine-tuning and 20-shot settings, respectively. Moreover, our EventBind can be flexibly extended to the event retrieval task using text or image queries, showing plausible performance. Project page:https://vlislab22.github.io/EventBind/.

研究の動機と目的

• CLIPの事前学習済み能力を、高い時間分解能、疎らかさ、非同期出力を示すイベントカメラデータに効果的に転送する課題に対処すること。
• 画像、テキスト、イベントストリームの間のモダリティギャップを埋め、効果的なクロスモダリティ埋め込み整列を可能にすること。
• 大規模なアノテート済みデータセットを必要とせずに、イベントデータにおけるオープンワールドおよび少サンプル認識を可能にすること。
• 画像またはテキストクエリを用いたイベントリtrievalタスクにフレームワークを拡張し、分類を超えた一般化を示すこと。

提案手法

• 時間的ダイナミクスをイベントフレーム全体にわたってモデル化し、モダリティ転送を強化するためのイベント固有のプロンプトを生成する、新規のイベントエンコーダーを導入する。
• コンテンツに適応したプロンプトを生成するハイブリッドテキストエンコーダーを設計し、多様なデータセット間でのゼロショット一般化を向上させる。
• 統一された特徴空間内で画像、テキスト、イベント埋め込みの整列を同時に最適化する、階層的三重対照学習（HTCA）モジュールを提案する。
• イベントおよびテキストモダリティの両方で学習可能なプロンプトを活用し、最適な長さ（16トークン）が認識精度を最大化することが示された。
• イベント埋め込みを画像またはテキストクエリ埋め込みとコサイン類似度で比較する二重ブランチリtrieバルメカニズムを採用する。
• CLIPの事前学習済み画像エンコーダーを強力なバックボーンとして活用し、モダリティ固有のエンコーダーとプロンプト工学を用いてイベントデータに適応させる。

実験結果

リサーチクエスチョン

• RQ1 イベントデータはモダリティ特性が著しく異なるため、CLIPの事前学習済み視覚的表現が、それらに効果的に一般化可能か。
• RQ2 疎らかさや高い時間分解能といったイベント固有の特性を、ビジョン・ランゲージの事前学習フレームワークでどのように活用できるか。
• RQ3 統一された表現空間内で、画像、テキスト、イベントの多モーダル埋め込みを整列させる最適な戦略は何か。
• RQ4 大規模なイベントデータセットでの微調整を必要とせずに、フレームワークがオープンワールドおよび少サンプル認識にどの程度一般化可能か。
• RQ5 統一された表現が、画像またはテキストクエリを用いた下流のリtrieバルタスクをサポートできるか。

主な発見

• 微調整設定下でN-Caltech101において、前回のSOTAを+3.94%上回り、20ショット少サンプル学習設定下では+4.62%の向上を達成した。
• N-ImageNetでは、微調整設定下で4.77%の精度向上、20ショット少サンプル学習設定下で2.92%の向上を達成した。
• 微調整後、テキストからイベントへのリtrieバルで99.01%のRecall@1、画像からイベントへのリtrieバルで96.70%のRecall@1を達成したが、使用したサポート例は20ショットのみであった。
• イベントモダリティにおける学習可能なテキストプロンプトの最適長さは16トークンであり、これが最高の認識精度をもたらした。
• 可視化結果から、検索されたイベントストリームが画像およびテキストクエリの意味的コンテンツと密接に一致していることが確認され、効果的なクロスモダリティ整列が実現していることが示された。
• 微調整後、テキストからイベント、画像からイベントへのリtrieバルにおいて、両方ともほぼ100%のRecall@1を達成し、堅牢な埋め込み整列が確認された。