[论文解读] EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding

Jiazhou Zhou, Zheng Xu+2 more|arXiv (Cornell University)|Aug 6, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出E-CLIP，一种新颖的框架，通过引入专用事件编码器和混合文本提示，利用分层三重对比学习，将CLIP适配于事件识别任务，实现图像、文本与事件嵌入的对齐。在N-Caltech101和N-ImageNet数据集上，E-CLIP在微调和20-shot设置下分别取得+3.94%和+4.77%的准确率提升，展现出在事件数据上强大的少样本与零样本泛化能力。

ABSTRACT

In this paper, we propose EventBind, a novel and effective framework that unleashes the potential of vision-language models (VLMs) for event-based recognition to compensate for the lack of large-scale event-based datasets. In particular, due to the distinct modality gap with the image-text data and the lack of large-scale datasets, learning a common representation space for images, texts, and events is non-trivial.Intuitively, we need to address two key challenges: 1) how to generalize CLIP's visual encoder to event data while fully leveraging events' unique properties, e.g., sparsity and high temporal resolution; 2) how to effectively align the multi-modal embeddings, i.e., image, text, and events. Accordingly, we first introduce a novel event encoder that subtly models the temporal information from events and meanwhile, generates event prompts for modality bridging. We then design a text encoder that generates content prompts and utilizes hybrid text prompts to enhance EventBind's generalization ability across diverse datasets.With the proposed event encoder, text encoder, and image encoder, a novel Hierarchical Triple Contrastive Alignment (HTCA) module is introduced to jointly optimize the correlation and enable efficient knowledge transfer among the three modalities. We evaluate various settings, including fine-tuning and few-shot on three benchmarks, and our EventBind achieves new state-of-the-art accuracy compared with the previous methods, such as on N-Caltech101 (+5.34% and +1.70%) and N-Imagenet (+5.65% and +1.99%) with fine-tuning and 20-shot settings, respectively. Moreover, our EventBind can be flexibly extended to the event retrieval task using text or image queries, showing plausible performance. Project page:https://vlislab22.github.io/EventBind/.

研究动机与目标

• 为解决将CLIP预训练能力迁移至具有高时间分辨率、稀疏性和异步输出特性的事件相机数据的挑战。
• 通过实现有效的跨模态嵌入对齐，弥合图像、文本与事件流之间的模态差距。
• 在无需大规模标注事件数据集的前提下，实现事件数据的开放世界与少样本识别。
• 通过使用图像或文本查询，将该框架扩展至事件检索任务，证明其在分类之外的泛化能力。

提出的方法

• 提出一种新型事件编码器，用于建模事件帧之间的时序动态，并生成事件特异性提示，以增强模态迁移能力。
• 设计一种混合文本编码器，生成内容感知提示，提升在多样化数据集上的零样本泛化能力。
• 提出分层三重对比对齐（HTCA）模块，在统一特征空间中联合优化图像、文本与事件嵌入之间的对齐。
• 为事件与文本模态均采用可学习提示，实验表明最优提示长度（16个token）可最大化识别准确率。
• 采用双分支检索机制，通过余弦相似度将事件嵌入与图像或文本查询嵌入进行比较。
• 利用CLIP预训练的图像编码器作为强大主干网络，同时通过模态特异性编码器与提示工程，实现对事件数据的适配。

实验结果

研究问题

• RQ1 尽管事件数据具有显著不同的模态特性，CLIP的预训练视觉表征是否能有效泛化至事件数据？
• RQ2 在视觉-语言预训练框架中，如何利用事件数据的特异性属性（如稀疏性与高时间分辨率）？
• RQ3 在统一表征空间中，对齐图像、文本与事件多模态嵌入的最优策略是什么？
• RQ4 该框架在无需在大规模事件数据集上微调的前提下，其泛化能力在开放世界与少样本识别任务中能达到何种程度？
• RQ5 统一表征是否能够支持使用图像或文本查询的下游检索任务？

主要发现

• 在微调设置下，E-CLIP在N-Caltech101上的准确率相比之前SOTA提升3.94%；在20-shot少样本学习设置下，准确率提升达4.62%。
• 在N-ImageNet上，E-CLIP在微调设置下准确率提升4.77%，在20-shot少样本学习设置下提升2.92%。
• 微调后，文本到事件检索的Recall@1达到99.01%，图像到事件检索的Recall@1达到96.70%，仅使用20-shot支持样本。
• 事件模态中可学习文本提示的最优长度为16个token，可实现最高识别准确率。
• 可视化结果表明，检索到的事件流与图像和文本查询的语义内容高度匹配，证实了有效的跨模态对齐。
• 微调后，文本到事件与图像到事件检索的Recall@1均接近100%，验证了嵌入对齐的鲁棒性。