[논문 리뷰] TRECVID 2019: An Evaluation Campaign to Benchmark Video Activity Detection, Video Captioning and Matching, and Video Search & Retrieval

George Awad, Butt, Asad A.외 12명|arXiv (Cornell University)|2019. 11. 12.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 Vimeo의 V3C, BBC EastEnders, VIRAT를 포함한 다양한 데이터셋을 사용하여 영상 활동 검출, 영상 캡션 생성, 영상 검색/검색 성능을 평가하는 TRECVID 2019 평가 캠페인을 제시한다. 모든 과제에서 성능 향상이 보고되었으며, 특히 영상-텍스트 매칭 과제에서 평균 역순위 점수가 2018년의 0.516에서 0.727로 상승하여, 데이터셋 간 차이가 있음에도 불구하고 영상 캡션 및 검색 시스템의 발전을 시사한다.

ABSTRACT

International audience

연구 동기 및 목표

• 콘텐츠 기반 영상 검색 및 분석 시스템의 평가 및 벤치마킹을 위한 것이다.
• 표준화된 데이터셋과 평가 지표를 활용하여 영상 캡션 생성, 활동 검출, 영상 검색 분야의 연구를 발전시키기 위한 것이다.
• 공개적이고 지표 기반 평가를 통해 영상 이해 분야의 진전을 지원하기 위한 것이다.
• 글로벌 연구 팀이 영상 분석 시스템을 테스트하고 비교할 수 있는 플랫폼을 제공하기 위한 것이다.
• 반복적인 평가와 피드백을 통해 시스템 성능 향상을 도모하기 위한 것이다.

제안 방법

• 네 가지 과제를 평가: 즉각적 영상 검색(Ad-hoc Video Search), 인스턴스 검색(Instance Search), 확장된 영상 내 활동(ActEV), 영상-텍스트 설명(Video-to-Text Description, VTT).
• 대부분의 과제에 대해 크리에이티브 커먼즈 라이선스 하에 공개된 Vimeo의 V3C 데이터셋(100만 개의 샷, 약 1000시간)을 사용하였다.
• 인스턴스 검색에는 BBC EastEnders(464시간), ActEV에는 VIRAT(10시간)를 사용하였다.
• AVS 및 INS 과제는 인간 평가자, VTT 설명 평가에는 Mechanical Turk를 사용하였다.
• ActEV 과제는 Kitware, Inc.에서 제공한 기준 애너테이션을 사용하였다.
• 자동 VTT 평가에는 MT 지표와 직접 평가(Direct Assessment, DA)를 적용하였다.

실험 결과

연구 질문

• RQ1 확장된 영상 시퀀스에서 인간의 활동을 탐지하는 데 현재 시스템의 성능은 어떠한가?
• RQ2 짧은 영상 클립에 대해 정확하고 기술적인 캡션을 생성하는 데 있어서 최신 기술 수준는 무엇인가?
• RQ3 텍스트 기반 쿼리에 기반해 특정 영상 콘텐츠를 검색하는 데 시스템의 효과성은 어떠한가?
• RQ4 시스템 성능 향상이 다양한 영상 데이터셋과 과제 간에 얼마나 전이되는가?
• RQ5 다양한 학습 전략이 영상 캡션 생성 및 검색 성능에 어떤 영향을 미치는가?

주요 결과

• VTT 매칭 및 랭킹 과제의 평균 역순위 점수가 2018년의 0.516에서 2019년 0.727로 상승하여 검색 성능 향상이 확인되었다.
• RUC_AIM3가 영상-텍스트 매칭 및 랭킹 과제에서 모든 다른 시스템을 앞서는 성능을 보였다.
• 영상 캡션 생성 성능이 향상되어 설명과 영상 콘텐츠 간의 일치도가 높아졌다.
• Vimeo V3C, Flickr, Vine 등의 다양한 데이터셋을 활용함으로써 캡션 생성 시스템의 폭넓은 평가가 가능했다.
• 데이터셋 간 차이가 있음에도 불구하고 성능 향상은 단순히 데이터에 특화된 최적화가 아니라 실제 시스템 개선을 시사한다.
• 대부분의 시스템은 명확하고 고유한 동작과 객체를 포함한 영상에서는 잘 수행했지만, 모호하거나 일반적인 시각적 콘텐츠에서는 어려움을 겪었다.