[論文レビュー] EventCLIP: Adapting CLIP for Event-based Object Recognition

Ziyi Wu, Xudong Liu+1 more|arXiv (Cornell University)|Jun 10, 2023

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

EventCLIPは、イベントストリームを2次元グリッド表現に変換し、視覚的およびテキスト特徴を精緻化するための時間的トランスフォーマー・アダプタを導入することで、CLIPのビジョン・ランゲージモデルをイベントベースのオブジェクト認識に適応させ、ゼロショットおよびフェイントショット認識を実現する。N-Caltech、N-Cars、N-ImageNetで最先端の性能を達成し、フェイントショットおよび微調整設定において既存手法を上回り、モデルアンサンブルと疑似ラベル化により、頑健な分類とラベルなし学習を可能にする。

ABSTRACT

Recent advances in zero-shot and few-shot classification heavily rely on the success of pre-trained vision-language models (VLMs) such as CLIP. Due to a shortage of large-scale datasets, training such models for event camera data remains infeasible. Thus, adapting existing VLMs across modalities to event vision is an important research challenge. In this work, we introduce EventCLIP, a novel approach that utilizes CLIP for zero-shot and few-shot event-based object recognition. We first generalize CLIP's image encoder to event data by converting raw events to 2D grid-based representations. To further enhance performance, we propose a feature adapter to aggregate temporal information over event frames and refine text embeddings to better align with the visual inputs. We evaluate EventCLIP on N-Caltech, N-Cars, and N-ImageNet datasets, achieving state-of-the-art few-shot performance. When fine-tuned on the entire dataset, our method outperforms all existing event classifiers. Moreover, we explore practical applications of EventCLIP including robust event classification and label-free event recognition, where our approach surpasses previous baselines designed specifically for these tasks.

研究の動機と目的

• 大規模なイベント・テキストデータセットが入手できないイベントベースのビジョンにおいて、ゼロショットおよびフェイントショットのオブジェクト認識を可能にすること。
• 事前に学習されたCLIP（画像を想定して設計）と非同期イベントデータとの間のモodalギャップを埋めること。
• 時間的集約とテキスト埋め込みの適応を用いてCLIP特徴を精緻化することで、イベントベース認識の性能を向上させること。
• モデルアンサンブルと疑似ラベル化による自己教師学習を通じて、実用的応用（例えば、分布外データに対する頑健な分類）を検討すること。

提案手法

• イベントストリームを時間ウィンドウに分割して2次元グリッドベースのフレームに変換し、CLIPの画像入力と互換性を持たせる。
• CLIPの事前に学習された画像エンコーダーとテキストエンコーダーを用いて、それぞれイベントフレームとクラス名プロンプトから特徴を抽出する。
• 時間的情報をフレーム間で集約し、視覚的特徴を精緻化するためのトランスフォーマー基盤の特徴アダプタを導入する。
• 分類器の重みとしてテキスト埋め込みを微調整することで、イベントベースの視覚的特徴との整合性を向上させる。
• EventCLIPと既存のイベント分類器とのアンサンブルを適用し、分布外データに対する頑健性を向上させる。
• EventCLIPを用いて自己学習のための高品質な疑似ラベルを生成し、ラベルなしおよび半教師あり学習設定で活用する。

実験結果

リサーチクエスチョン

• RQ1 イベント・テキストデータセットが存在しないにもかかわらず、事前に学習されたCLIPがゼロショットイベントベースのオブジェクト認識に効果的に適応可能か？
• RQ2 非同期イベントストリームからの時間的情報を効果的に集約することで、CLIPのイベントデータに対する性能を向上させられるか？
• RQ3 CLIPの事前に学習された知識が、分布シフト下でも既存のイベントベース分類器の頑健性を向上させられるか？
• RQ4 EventCLIPを用いて、イベントベースのビジョンにおける自己教師学習のための信頼性の高い疑似ラベルを生成できるか？

主な発見

• EventCLIPは、N-Caltech、N-Cars、N-ImageNetでフェイントショット性能において最先端を記録し、既存のイベントベース分類器を上回る。
• 全データセットで微調整した場合、EventCLIPはN-ImageNetにおいてすべての既存イベント分類器を上回る。
• 0ショットのEventCLIPとDiSTをアンサンブルすることで、N-ImageNetの頑健性サブセットで5%以上の精度向上が達成され、完全に微調整されたDiSTとのアンサンブルを上回る。
• 1クラスあたり20サンプル（学習データの2%未満）での学習でも、EventCLIPはほとんどの頑健性サブセットでオンライン版のEv-TTAを上回る。
• 100ショットの微調整（データの8%）で、EventCLIPはオフライン版のEv-TTAを上回り、頑健性分野で新たな最先端の結果を達成する。
• ラベルなし学習では、一貫性に基づくラベリングを用いたEventCLIPが、N-ImageNet（Mini）で35.26%の精度を達成し、Ev-LaFORの31.28%を4%上回る。