[논문 리뷰] EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding

Jiazhou Zhou, Zheng Xu외 2명|arXiv (Cornell University)|2023. 08. 06.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이벤트 기반 인식을 위해 CLIP을 적응시키는 새로운 프레임워크인 E-CLIP을 제안한다. 이는 계층적 트리플 콘트라스트 학습을 통해 이미지, 텍스트, 이벤트 임베딩을 정렬하기 위해 전용 이벤트 인코더와 하이브리드 텍스트 프롬프트를 도입한다. N-Caltech101과 N-ImageNet에서 최신 기술 성능을 달성하였으며, 미세조정 설정과 20-shot 설정에서 각각 +3.94% 및 +4.77%의 정확도 향상을 보였다. 이는 이벤트 데이터에 대한 강력한 소수 샘플 및 제로 샘플 일반화 능력을 입증한다.

ABSTRACT

In this paper, we propose EventBind, a novel and effective framework that unleashes the potential of vision-language models (VLMs) for event-based recognition to compensate for the lack of large-scale event-based datasets. In particular, due to the distinct modality gap with the image-text data and the lack of large-scale datasets, learning a common representation space for images, texts, and events is non-trivial.Intuitively, we need to address two key challenges: 1) how to generalize CLIP's visual encoder to event data while fully leveraging events' unique properties, e.g., sparsity and high temporal resolution; 2) how to effectively align the multi-modal embeddings, i.e., image, text, and events. Accordingly, we first introduce a novel event encoder that subtly models the temporal information from events and meanwhile, generates event prompts for modality bridging. We then design a text encoder that generates content prompts and utilizes hybrid text prompts to enhance EventBind's generalization ability across diverse datasets.With the proposed event encoder, text encoder, and image encoder, a novel Hierarchical Triple Contrastive Alignment (HTCA) module is introduced to jointly optimize the correlation and enable efficient knowledge transfer among the three modalities. We evaluate various settings, including fine-tuning and few-shot on three benchmarks, and our EventBind achieves new state-of-the-art accuracy compared with the previous methods, such as on N-Caltech101 (+5.34% and +1.70%) and N-Imagenet (+5.65% and +1.99%) with fine-tuning and 20-shot settings, respectively. Moreover, our EventBind can be flexibly extended to the event retrieval task using text or image queries, showing plausible performance. Project page:https://vlislab22.github.io/EventBind/.

연구 동기 및 목표

• 이벤트 카메라 데이터는 고해상도 시간 해상도, 희소성, 비동기적 출력 특성을 가지므로, CLIP의 사전 훈련된 능력을 이에 효과적으로 적용하는 데 도전하는 문제를 해결하기 위해.
• 이미지, 텍스트, 이벤트 스트림 간의 모odal 갭을 해소하기 위해 효과적인 다중 모달 임베딩 정렬을 가능하게 하기 위해.
• 대규모 애너테이션된 데이터셋이 필요 없이도 이벤트 데이터에 대한 오픈 월드 및 소수 샘플 인식을 가능하게 하기 위해.
• 이미지 또는 텍스트 쿼리를 사용하여 이벤트 검색 작업에 확장함으로써 분류를 넘어서 일반화 능력을 입증하기 위해.

제안 방법

• 이벤트 프레임 간의 시간 역학을 모델링하고 모달 전이를 향상시키기 위해 이벤트 전용 인코더를 도입하며, 이에 따라 이벤트 특화 프롬프트를 생성한다.
• 콘텐츠 인식 프롬프트를 생성하고 다양한 데이터셋에서 제로 샘플 일반화를 향상시키기 위해 하이브리드 텍스트 인코더를 설계한다.
• 통합된 특징 공간에서 이미지, 텍스트, 이벤트 임베딩 간의 정렬을 공동 최적화하기 위해 계층적 트리플 콘트라스트 정렬(HTCA) 모듈을 제안한다.
• 학습 가능한 프롬프트를 이벤트 및 텍스트 모달 모두에 적용하며, 최적의 길이(16 토큰)가 인식 정확도를 최대화하는 것으로 확인되었다.
• 이벤트 임베딩을 이미지 또는 텍스트 쿼리 임베딩과 코사인 유사도를 사용해 비교하는 듀얼 브랜치 검색 기반 메커니즘을 활용한다.
• 모달 특화 인코더와 프롬프트 엔지니어링을 통해 CLIP의 사전 훈련된 이미지 인코더를 강력한 백본으로 활용하면서도 이벤트 데이터에 적응시킨다.

실험 결과

연구 질문

• RQ1 이벤트 데이터는 모달 특성이 뚜렷하게 다름에도 불구하고, CLIP의 사전 훈련된 시각적 표현이 이에 효과적으로 일반화될 수 있는가?
• RQ2 이브넷의 특성인 희소성과 고해상도 시간 해상도는 시각-언어 사전 훈련 프레임워크에서 어떻게 활용될 수 있는가?
• RQ3 통합된 표현 공간에서 다중 모달 임베딩(이미지, 텍스트, 이벤트)을 정렬하기 위한 최적의 전략은 무엇인가?
• RQ4 대규모 이벤트 데이터셋에 대한 재훈련 없이도 이 프레임워크가 오픈 월드 및 소수 샘플 인식에 얼마나 잘 일반화되는가?
• RQ5 통합된 표현은 이미지 또는 텍스트 쿼리를 사용한 후행 검색 작업을 지원할 수 있는가?

주요 결과

• 미세조정 설정에서 N-Caltech101에서 이전 최신 기술 대비 3.94%의 정확도 향상을 기록하였으며, 20-shot 소수 샘플 학습 설정에서는 4.62% 향상되었다.
• N-ImageNet에서 미세조정 설정에서는 4.77%의 정확도 향상, 20-shot 소수 샘플 학습 설정에서는 2.92% 향상되었다.
• 단지 20-shot 지원 예제로 미세조정을 수행한 후, 텍스트-이벤트 검색의 Recall@1은 99.01%에 도달했으며, 이미지-이벤트 검색의 Recall@1은 96.70%였다.
• 이벤트 모달에서 학습 가능한 텍스트 프롬프트의 최적 길이는 16 토큰으로, 가장 높은 인식 정확도를 얻는 데 기여했다.
• 시각화 결과는 검색된 이벤트 스트림이 이미지 및 텍스트 쿼리의 의미적 내용과 밀접하게 일치함을 확인하였으며, 효과적인 다중 모달 정렬을 의미한다.
• 미세조정 후 텍스트-이벤트 및 이미지-이벤트 검색에서 Recall@1이 거의 100%에 도달하여, 강력한 임베딩 정렬 능력을 확인하였다.