[논문 리뷰] EventNet: A Large Scale Structured Concept Library for Complex Event Detection in Video

Guangnan Ye, Yitong Li외 3명|arXiv (Cornell University)|2015. 06. 08.

Multimodal Machine Learning Applications참고 문헌 32인용 수 13

한 줄 요약

EventNet는 위키하우와 유튜브에서 유래한 총 500개의 이벤트와 4,490개의 이벤트별 전용 개념을 포함하는 대규모 구조화된 이벤트 기반 개념 라이브러리를 소개한다. 이는 CNN 기반의 딥 페처와 SVM 분류기를 사용하며, ImageNet 기반 방법에 비해 제로샷 이벤트 검색에서 207% 향상된 성능을 기록하여 복잡한 영상 이벤트 이해에 있어 뛰어난 성능과 의미론적 구조를 입증한다.

ABSTRACT

Event-specific concepts are the semantic concepts designed for the events of interest, which can be used as a mid-level representation of complex events in videos. Existing methods only focus on defining event-specific concepts for a small number of predefined events, but cannot handle novel unseen events. This motivates us to build a large scale event-specific concept library that covers as many real-world events and their concepts as possible. Specifically, we choose WikiHow, an online forum containing a large number of how-to articles on human daily life events. We perform a coarse-to-fine event discovery process and discover 500 events from WikiHow articles. Then we use each event name as query to search YouTube and discover event-specific concepts from the tags of returned videos. After an automatic filter process, we end up with 95,321 videos and 4,490 concepts. We train a Convolutional Neural Network (CNN) model on the 95,321 videos over the 500 events, and use the model to extract deep learning feature from video content. With the learned deep learning feature, we train 4,490 binary SVM classifiers as the event-specific concept library. The concepts and events are further organized in a hierarchical structure defined by WikiHow, and the resultant concept library is called EventNet. Finally, the EventNet concept library is used to generate concept based representation of event videos. To the best of our knowledge, EventNet represents the first video event ontology that organizes events and their concepts into a semantic structure. It offers great potential for event retrieval and browsing. Extensive experiments over the zero-shot event retrieval task when no training samples are available show that the EventNet concept library consistently and significantly outperforms the state-of-the-art (such as the 20K ImageNet concepts trained with CNN) by a large margin up to 207%.

연구 동기 및 목표

• 기존 방법이 사전 정의된 개념 어휘집에 의존함으로써 새로운, 볼 수 없는 이벤트를 처리할 수 없는 한계를 해결하기 위해.
• 다양한 실제 세계의 이벤트를 포괄하는 종합적이고 확장 가능한 이벤트별 전용 개념 라이브러리를 구축하기 위해.
• 이벤트와 그 개념들을 위키하우 온톨로지 기반의 계층적 온톨로지로 정리하여 의미론적 이해 및 검색을 향상시키기 위해.
• 학습된 딥 페처와 구조화된 지식을 활용해 효과적인 제로샷 이벤트 검색 및 개념 매칭을 가능하게 하기 위해.

제안 방법

• 일상 생활의 실제 이벤트를 정의하기 위해 위키하우 기사에서 500개의 이벤트를 추출한다.
• 각 이벤트 이름을 쿼리로 사용해 유튜브를 검색하고, 이벤트별 전용 개념 탐지를 위한 영상 태그를 추출한다.
• 자동 필터링 프로세스를 적용하여 총 95,321개의 영상과 4,490개의 이벤트별 전용 개념을 유튜브 태그에서 수집한다.
• 각 이벤트의 딥 러닝 페처를 추출하기 위해 95,321개의 영상에서 CNN 모델을 훈련시킨다.
• CNN 페처를 사용해 각 이벤트별 전용 개념을 검출하기 위해 4,490개의 이진 SVM 분류기를 훈련시킨다.
• 위키하우 온톨로지 기반으로 이벤트와 개념을 계층적 트리 구조로 정리하여 의미론적 추론과 개념 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적인 개념 어휘집에 비해 대규모 이벤트 기반 개념 라이브러리가 제로샷 이벤트 검색 성능을 향상시키는가?
• RQ2 EventNet의 계층적 구조는 새로운 이벤트 쿼리에 대한 개념 매칭에 얼마나 효과적인가?
• RQ3 유튜브 태그에서 추출한 이벤트별 전용 개념은 영상 내 복잡한 고수준 이벤트 탐지에 얼마나 기여하는가?
• RQ4 이중 단계 탐지 방식(이벤트 탐지 → 개념 탐지)은 이벤트 재구성의 효율성과 정확도를 향상시키는가?
• RQ5 EventNet 온톨로지는 다양한 고수준 이벤트 카테고리에 대해 다중 분류에서 얼마나 일반화되는가?

주요 결과

• EventNet는 20,000개의 ImageNet 개념을 사용하는 최신 기술 대비 제로샷 이벤트 검색 성능에서 207% 향상된 성과를 기록했다.
• EventNet 온톨로지의 19개 고수준 이벤트 카테고리에서의 상위 1 정확도는 38.91%이며, 상위 5 정확도는 57.67%에 이른다.
• EventNet의 계층적 구조는 기존 텍스트 기반 의미론적 분석에 비해 새로운 이벤트 쿼리에 대한 개념 매칭 성능을 크게 향상시켰다.
• 이벤트 탐지 후 이벤트별 개념 탐지로 이루어진 이중 단계 탐지 파이프라인은 활성화되는 분류기의 수를 줄여 효율성을 크게 향상시켰다.
• 500개의 이벤트에 걸쳐 총 95,321개의 영상으로 구성된 EventNet 데이터셋은 대규모 영상 이벤트 탐지에 대한 견고한 벤치마크를 제공하며, 딥 CNN 모델을 사용한 강력한 베이스라인 성능을 보였다.