[논문 리뷰] Complex Event Recognition from Images with Few Training Examples

Unaiza Ahsan, Chen Sun외 2명|arXiv (Cornell University)|2017. 01. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 4

한 줄 요약

이 논문은 웹 기반의 개념 탐색 프레임워크를 제안하며, 위키백과와 플리커 태그를 활용하여 웹 이미지에서 분류에 유용한, 사전 학습된 CNN 특징을 사용해 단일 학습 예제로도 복잡한 사회적 이벤트를 인식할 수 있는 이벤트 전용 시각적 개념을 학습한다. 이는 소수의 예제로도 복잡한 이벤트 인식에서 최신 기술 수준의 성능을 달성하며, 새로운 카테고리가 포함된 희귀 이벤트 데이터셋을 포함한 여러 벤치마크에서 직접 CNN 미세조정보다 뛰어난 성능을 보인다.

ABSTRACT

We propose to leverage concept-level representations for complex event recognition in photographs given limited training examples. We introduce a novel framework to discover event concept attributes from the web and use that to extract semantic features from images and classify them into social event categories with few training examples. Discovered concepts include a variety of objects, scenes, actions and event sub-types, leading to a discriminative and compact representation for event images. Web images are obtained for each discovered event concept and we use (pretrained) CNN features to train concept classifiers. Extensive experiments on challenging event datasets demonstrate that our proposed method outperforms several baselines using deep CNN features directly in classifying images into events with limited training examples. We also demonstrate that our method achieves the best overall accuracy on a dataset with unseen event categories using a single training example.

연구 동기 및 목표

• 단일 레이블 예제만 제공된 상황에서 복잡한 사회적 이벤트나 뉴스 이벤트를 이미지에서 인식하는 데 도전하는 것.
• 수동 주석 없이도 확장 가능한 웹 기반 방법을 개발하여 관련된 시각적 개념(물체, 풍경, 동작, 속성 등)을 탐색하는 것.
• 웹에서 유래한 개념을 사용해 일반화된, 압축된 특징 표현을 만들며, 새로운 이벤트 카테고리에도 적용 가능한 것.
• 전통적인 CNN 모델이 데이터 부족으로 어려움을 겪는 희귀하고 다양한 실제 이벤트에 대해 방법을 평가하는 것.

제안 방법

• 이벤트 카테고리를 정의하고 초기 개념 시드로 사용할 키워드를 추출하기 위해 위키백과를 활용한다.
• 노이즈가 많은 플리커 태그에서 이벤트 중심 어휘를 추출하기 위해 트윗 분할 알고리즘을 적용한다.
• 어휘를 word2vec 임베딩으로 매핑하고 가장 가까운 이웃을 검색하여 개념 풀을 확장한다.
• 각 발견된 개념에 대해 빙 이미지 검색을 통해 웹 이미지를 수집하고, 사전 학습된 네트워크에서 깊은 CNN 특징을 추출한다.
• 웹 이미지와 그 CNN 특징을 사용해 개념 전용 분류기를 훈련시켜 테스트 이미지의 각 개념에 대한 점수를 생성한다.
• 결과적으로 생성된 개념 점수를 이벤트 분류를 위한 고수준이고 압축된 표현으로 사용한다.

Figure 1: Event concepts as an intermediate feature representation for recognizing social events in photographs.

실험 결과

연구 질문

• RQ1 웹에서 유래한 시각적 개념은 단일 예제로도 복잡한 사회적 이벤트를 인식하는 데 도움이 될 수 있는가?
• RQ2 개념 기반 표현은 개념 탐색 기간 동안 관찰되지 않은 이벤트 카테고리로 일반화될 수 있는가?
• RQ3 제한된 학습 데이터에서 직접 CNN 미세조정과 비교해 웹으로 학습된 개념 학습은 어떤가?
• RQ4 이 방법은 단일 학습 예제만으로도 희귀하거나 이전에 본 적 없는 실제 이벤트에서 강력한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 WIDER 데이터셋에서 클래스당 단일 학습 예제만을 사용해 평균 정확도 82.09%를 달성했으며, AlexNet-fc7(59.79%)와 WEBLY-fc7(55.39%)를 모두 초월한다.
• 희귀 이벤트 데이터셋(Reduced Event Dataset, RED)에서 단일 샘플 학습 조건에서 21개 클래스 중 10개에서 베이스라인을 능가했으며, 새로운 카테고리로의 일반화 능력을 입증했다.
• 완전한 학습 데이터가 제공될 경우, UIUC Sports에서 96.68%의 정확도, WIDER에서 78.59%의 정확도를 기록했으며, 최신 기술 수준의 베이스라인을 모두 능가했다.
• 낮은 샘플 수 조건에서 복잡한 이벤트 인식에 있어 직접 CNN 특징보다 개념 기반 표현이 더 분류에 효과적인 것으로 나타났다.
• 전통적 모델이 데이터 부족으로 실패하는 다양한 실제 이벤트, 예를 들어 'Boston Bombing'과 'Nepal Earthquake' 등에도 이 방법은 잘 일반화되어 성능을 낼 수 있었다.

Figure 2: Generated segments from Flickr tags for event label ‘protest.’