[논문 리뷰] Rekall: Specifying Video Events using Compositions of Spatiotemporal Labels

Daniel Y. Fu, Will Crichton외 8명|arXiv (Cornell University)|2019. 10. 07.

Video Analysis and Summarization참고 문헌 55인용 수 20

한 줄 요약

Rekall은 시공간 레이블을 사용하여 사전 훈련된 모델 출력을 조합함으로써 복잡한 영상 이벤트를 쿼리 기반으로 지정하는 프레임워크를 소개한다. 도메인 전문가들은 재학습 없이도 몇 시간의 쿼리 개발 시간으로 기존 학습 모델과 비슷하거나 더 높은 정확도를 달성했으며, 최대 26.1 F1 점수 높이게 되었고, 재학습 없이도 빠르고 민첩한 영상 분석을 가능하게 하였다.

ABSTRACT

Many real-world video analysis applications require the ability to identify domain-specific events in video, such as interviews and commercials in TV news broadcasts, or action sequences in film. Unfortunately, pre-trained models to detect all the events of interest in video may not exist, and training new models from scratch can be costly and labor-intensive. In this paper, we explore the utility of specifying new events in video in a more traditional manner: by writing queries that compose outputs of existing, pre-trained models. To write these queries, we have developed Rekall, a library that exposes a data model and programming model for compositional video event specification. Rekall represents video annotations from different sources (object detectors, transcripts, etc.) as spatiotemporal labels associated with continuous volumes of spacetime in a video, and provides operators for composing labels into queries that model new video events. We demonstrate the use of Rekall in analyzing video from cable TV news broadcasts, films, static-camera vehicular video streams, and commercial autonomous vehicle logs. In these efforts, domain experts were able to quickly (in a few hours to a day) author queries that enabled the accurate detection of new events (on par with, and in some cases much more accurate than, learned approaches) and to rapidly retrieve video clips for human-in-the-loop tasks such as video content curation and training data curation. Finally, in a user study, novice users of Rekall were able to author queries to retrieve new events in video given just one hour of query development time.

연구 동기 및 목표

• 사전 훈련된 모델이 해당 이벤트에 대해 존재하지 않을 경우 도메인 특화 영상 이벤트를 탐지하는 데 도전하는 것.
• 종합적 모델 재학습과 대규모 인간 주석 작업을 피하여 영상 이벤트 검출의 비용과 시간을 줄이는 것.
• 분석가들이 기존 영상 주석을 조합하여 새로운 이벤트를 탐지할 수 있도록 빠르게 쿼리를 작성하고 개선할 수 있도록 하는 것.
• 영상 콘텐츠 정제, 훈련 데이터 수집, 모델 디버깅를 위한 민첩한 인간-자동 워크플로우를 지원하는 것.
• 히우리스틱적 조합 방식이 학습된 접근 방식에 비해 정확도와 효율성 면에서 뛰어나거나 동등한 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 다양한 소스(예: 객체 검출기, 음성 통역)의 영상 주석을 시공간 레이블로 표현—공간-시간 내에서 연속적인 볼륨으로, 관련 메타데이터를 함께 가짐.
• 계층적 조합을 허용하는 프로그래밍 모델을 제공하여 레이블 간의 복잡한 이벤트 구조를 정의.
• 레이블 간의 시간적 및 공간적 조합 연산(예: 겹침, 근접, 포함)을 지원하여 이벤트 의미를 모델링.
• 사용자가 기존 모델 출력을 재학습 없이도 조합하는 선언적 쿼리를 작성할 수 있도록 허용.
• 다중 모odal, 다중 해상도 주석(예: 프레임 수준 검출, 단어 수준 통역)을 처리할 수 있는 통합 데이터 모델 사용.
• 결과 검토를 바탕으로 반복적인 쿼리 개선을 허용하여 임계값 및 겹침 설정의 디버깅과 조정을 지원.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델 출력에 대한 조합적 쿼리 작성 방식이 재학습 없이도 새로운 영상 이벤트를 정확하게 탐지할 수 있는가?
• RQ2 실제 영상 분석 작업에서 Rekall의 히우리스틱적 조합 방식의 성능은 종합적 학습 모델과 비교해 어떻게 되는가?
• RQ3 비전문가가 Rekall을 사용하여 새로운 영상 이벤트에 대해 효과적인 쿼리를 얼마나 빨리 작성할 수 있는가?
• RQ4 실제 응용에서 Rekall은 훈련 데이터와 비정상적인 영상 클립을 어떻게 탐색하고 정제하는가?
• RQ5 하위 수준의 레이블이 가림이나 모델 정확도 저하로 인해 실패할 경우 조합적 명세의 한계는 무엇인가?

주요 결과

• Rekall을 사용한 도메인 전문가들은 기존 학습 모델과 비슷하거나 최대 26.1 F1 점수 높이게 되었으며, 정확도가 동등하거나 뛰어났다.
• 평가된 작업 전반에 걸쳐 Rekall 쿼리는 평균적으로 기존 학습 모델보다 6.5 F1 점수 더 높은 정확도를 보였다.
• 초보자 사용자들도 영상 이벤트에 대한 기능적인 쿼리를 단 1시간 내로 작성할 수 있었다.
• Rekall은 콘텐츠 정제 및 훈련 데이터 수집을 위한 영상 클립을 신속하게 검색할 수 있게 하여 인간-자동 워크플로우를 크게 가속화했다.
• 이 프레임워크는 뉴스, 영화, 자율 주행 차량 로그 등 다양한 도메인에서 인터뷰, 광고, 액션 시퀀스, 교통 사고 등 다양한 이벤트를 성공적으로 탐지했다.
• 다만, 가려짐으로 인해 기본 검출기가 실패할 경우 미세한 운동이나 행동 모델링이 필요한 이벤트(예: 입맞춤 장면)에서는 Rekall이 어려움을 겪었다.