[논문 리뷰] ERA: A Dataset and Deep Learning Benchmark for Event Recognition in Aerial Videos

Lichao Mou, Yuansheng Hua외 2명|arXiv (Cornell University)|2020. 01. 30.

Advanced Image and Video Retrieval Techniques인용 수 7

한 줄 요약

이 논문은 UAV 비행기에서 촬영한 제약 없는 항공 영상에서 이벤트 인식을 발전시키기 위해, 유튜브에서 수집한 총 2,864개의 항공 영상 클립(각 5초 길이)으로 구성된 대규모이고 인간이 레이블링한 데이터셋 ERA를 소개한다. 이 데이터셋은 25개의 이벤트 클래스로 분류되어 있으며, 14개의 딥러닝 모델을 벤치마킹하여, 시간적 특징을 활용하는 영상 수준 모델(예: Inception-v3 기반 TRN)이 단일 프레임 방법보다 뛰어난 성능을 보이며 전체 정확도 64.3%를 기록함으로써, 항공 영상 이해에서 시간적 모델링의 중요성을 입증한다.

ABSTRACT

Along with the increasing use of unmanned aerial vehicles (UAVs), large volumes of aerial videos have been produced. It is unrealistic for humans to screen such big data and understand their contents. Hence methodological research on the automatic understanding of UAV videos is of paramount importance. In this paper, we introduce a novel problem of event recognition in unconstrained aerial videos in the remote sensing community and present a large-scale, human-annotated dataset, named ERA (Event Recognition in Aerial videos), consisting of 2,864 videos each with a label from 25 different classes corresponding to an event unfolding 5 seconds. The ERA dataset is designed to have a significant intra-class variation and inter-class similarity and captures dynamic events in various circumstances and at dramatically various scales. Moreover, to offer a benchmark for this task, we extensively validate existing deep networks. We expect that the ERA dataset will facilitate further progress in automatic aerial video comprehension. The website is https://lcmou.github.io/ERA_Dataset/

연구 동기 및 목표

• 제약 없는 UAV 영상에서 이벤트 인식을 위한 대규모, 다양한, 현실적인 데이터셋의 부족을 해결하기 위해.
• UAV가 생성하는 영상 데이터의 증가 추세에 따라 자동 항공 영상 이해에 관한 방법론 연구를 가능하게 하기 위해.
• 시간적 이해에 중점을 두고, 항공 영상에서의 이벤트 인식에 대한 딥러닝 모델 평가를 위한 벤치마크를 확립하기 위해.
• 향후 연구를 지원하기 위해, 시간적 국소화, 다중 속성 학습, 영상 검색 등 항공 영상 이해 분야의 연구를 위해.
• 원격 측량과 컴퓨터 비전 간 격차를 해소하기 위해, 항공 시점에서의 이벤트 인식에 대해 현실적이고 도전적인 벤치마크를 제공하기 위해.

제안 방법

• ERA 데이터셋은 유튜브에서 수집한 총 2,864개의 영상 클립으로 구성되며, 각 클립은 5초 길이이며 자연재해, 도시 활동, 스포츠 등 25개의 다양한 이벤트 클래스를 포함한다.
• 각 영상에는 25개의 이벤트 클래스 중 하나로 수동으로 레이블링되어 있으며, 이는 실제 세계의 복잡성을 반영하기 위해 내부 클래스 변동성과 외부 클래스 유사성이 높도록 설계되었다.
• 스케일, 조도, 날씨, 동적 이벤트 등 다양한 조건을 반영하여 실제 세계의 조건을 재현함으로써 데이터셋의 현실성과 도전성 향상을 도모했다.
• 14개의 딥러닝 모델(7개의 단일 프레임 및 7개의 영상 분류 모델)을 평가하여 종합적인 벤치마크를 구축했다.
• C3D, P3D ResNet, I3D, TRN과 같은 영상 분류 모델은 공간-시간적 특징을 활용하기 위해, Kinetics, UCF101 또는 ImageNet에서 미리 훈련된 가중치를 사용한다.
• 평가에는 총 정확도(OA)를 주요 지표로 사용하여, 시간적 모델링과 아키텍처 선택의 영향을 평가하기 위해 모델 간 성능을 비교했다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 모델들이 단순히 공간적 또는 공간-시간적 특징만을 사용할 때, 제약 없는 항공 영상에서 이벤트 인식에 얼마나 효과적인가?
• RQ2 단일 프레임 분류에 비해 시간적 모델링이 항공 영상에서 이벤트 인식 성능 향상에 얼마나 기여하는가?
• RQ3 야간 또는 눈 오는 환경과 같은 악조건에서 항공 이벤트 인식의 주요 과제는 무엇인가?
• RQ4 내부 클래스 변동성과 외부 클래스 유사성이 항공 영상 이해에서 모델의 일반화 능력과 강건성에 미치는 영향은 무엇인가?
• RQ5 제안된 ERA 데이터셋이 향후 항공 영상 이벤트 인식 및 관련 작업에 대한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 단일 프레임 모델 중에서 DenseNet-201이 총 정확도 62.3%로 가장 높은 성능을 기록하며, Inception-v3를 약간 앞서나갔다.
• Inception-v3 백본을 사용한 영상 분류 모델인 TRN이 총 정확도 64.3%로 가장 높은 성능을 기록하여, 시간적 모델링의 우수성을 입증했다.
• 최고의 영상 모델(64.3%)과 최고의 단일 프레임 모델(62.3%) 간의 격차는 시간적 특징이 항공 영상에서 이벤트 인식에 크게 기여함을 확인한다.
• 저조도 조건, 예를 들어 야간 영상이나积 snow 환경에서는 모델이 어려움을 겪으며, 종종 잘못 분류된다.
• 경운 또는 파레이드/시위와 같이 미묘하거나 애매한 시각적 신호를 가진 이벤트는 효과적인 시간적 모델링이 필요하며, TRN의 높은 신뢰도 예측을 통해 이는 확인되었다.
• 교통 체증, 화재와 같은 명확한 사례에서는 뛰어난 성능를 보였지만, 인간 행동과 같은 이벤트 관련 속성이 가림되거나 애매할 경우 실패가 지속되었다.