[논문 리뷰] Real-Time Video Highlights for Yahoo Esports

Yale Song|arXiv (Cornell University)|2016. 11. 27.

Video Analysis and Summarization참고 문헌 16인용 수 15

한 줄 요약

이 논문은 CNN 기반 시각 분류기들을 사용하여 실시간으로 e스포츠 영상 하이라이트를 검출하는 계단식 딥러닝 접근법을 제안한다. 먼저 비게임 장면을 필터링한 후 게임 플레이 프레임 내에서 하이라이트를 검출함으로써, 단일 CPU에서 18 FPS 성능을 달성하고 히어로즈 오브 더 스톰, 리그 오브 레전드, 딱토2의 세 개의 유명 게임에서 평균 정밀도 83.18%를 기록하여 야후 e스포츠에서의 실용적 구현 가능성을 입증한다.

ABSTRACT

Esports has gained global popularity in recent years and several companies have started offering live streaming videos of esports games and events. This creates opportunities to develop large scale video understanding systems for new product features and services. We present a technique for detecting highlights from live streaming videos of esports game matches. Most video games use pronounced visual effects to emphasize highlight moments; we use CNNs to learn convolution filters of those visual effects for detecting highlights. We propose a cascaded prediction approach that allows us to deal with several challenges arise in a production environment. We demonstrate our technique on our new dataset of three popular game titles, Heroes of the Storm, League of Legends, and Dota 2. Our technique achieves 18 FPS on a single CPU with an average precision of up to 83.18%. Part of our technique is currently deployed in production on Yahoo Esports.

연구 동기 및 목표

• 실시간 e스포츠 라이브 스트리밍 영상 하이라이트 시스템을 개발하여 실용적 성능 기준을 충족시키는 것.
• 인터뷰나 광고와 같은 비게임 장면이 포함된 고도로 다양성 있는 e스포츠 영상 콘텐츠 문제를 다루는 것.
• 하이라이트 분류 이전에 비게임 플레이 프레임을 필터링하여 하이라이트 검출 정확도를 향상시키는 것.
• 시퀀스 기반 모델이 아닌 프레임 기반 CNN을 사용하여 확장성 있고 효율적이며 구현 가능한 시스템을 구축하는 것.
• 학습 및 평가를 위한 300시간 이상의 프레임 단위 애너테이션 데이터셋을 구축하는 것.

제안 방법

• 계단식 예측 프레임워크는 두 개의 CNN 기반 분류기인 장면 유형 분류기와 하이라이트 검출기로 구성된다.
• 장면 유형 분류기는 프레임을 게임 플레이, 게임 리플레이, 캐릭터 드래프트 또는 '기타'(비게임) 장면으로 분류한다.
• 게임 플레이로 분류된 프레임만 하이라이트 분류기에 전달되며, 이는 0에서 1 사이의 정규화된 신뢰도 점수를 출력한다.
• 시스템은 속도를 높이기 위해 매 5프레임마다 처리하고, 원래 프레임 레이트로 결과를 선형 보간하여 실시간 성능 유지를 한다.
• 기본 CNN 아키텍처로는 배치 정규화를 적용한 AlexNet을 사용하며, CaffeOnSpark에서 ADAM 옵timizer를 사용해 처음부터 학습한다.
• 두 단계의 애너테이션 체계를 통해 학습 및 평가를 위한 300시간 이상의 프레임 단위 애너테이션 영상 데이터를 효율적으로 확보한다.

실험 결과

연구 질문

• RQ1 단일 모델 기반 기준 대비 계단식 딥러닝 접근법이 다양한 e스포츠 라이브 스트리밍 영상에서 하이라이트 검출 정확도를 향상시키는가?
• RQ2 비게임 플레이 장면을 사전 필터링하는 것이 거짓 양성률을 줄이고 하이라이트 검출 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 보간을 통한 프레임 기반 처리 방식이 CPU에서 실시간 추론을 달성하면서도 정확도를 유지하는 데 얼마나 효과적인가?
• RQ4 분류 방식 선택(이진 분류 대 회귀)이 클래스 불균형 상황에서 하이라이트 검출 성능에 미치는 영향은 어떠한가?
• RQ5 한 게임 장르에 대해 학습된 단일 모델이 동일한 장르(예: MOBA 게임) 내 다양한 e스포츠 타이틀 간에 일반화 가능한가?

주요 결과

• 제안된 계단식 이진 분류 접근법은 히어로즈 오브 더 스톰 데이터셋에서 평균 정밀도 83.18%와 재현율 86.29%를 기록하여 모든 기준 모델을 초월했다.
• 계단식 설계 덕분에 단일 모델 접근 대비 평균 정밀도가 20퍼센트 포인트 이상 향상되어 장면 필터링의 가치를 입증했다.
• 시스템은 단일 CPU에서 18 FPS를 달성하여 실시간 영상 처리 요구 조건을 충족시켰다.
• 회귀 기반 하이라이트 검출기는 비하이라이트 프레임이 하이라이트 프레임보다 100:1 이상 많아 심각한 클래스 불균형으로 인해 재현율이 특히 열악했다.
• 장면 유형 분류기는 평균 정밀도와 재현율 모두 99% 이상을 기록하여 게임과 비게임 장면을 구분하는 것이 상대적으로 쉬우나 핵심 전처리 단계임을 확인했다.
• 300시간 이상의 프레임 단위 애너테이션 e스포츠 영상 데이터셋은 향후 전이 학습 및 다중모odal 영상 분석 분야의 연구를 위한 유의미한 기준 자료로 기여한다.