[논문 리뷰] Video Highlight Prediction Using Audience Chat Reactions

Cheng-Yang Fu, Joon Lee외 2명|arXiv (Cornell University)|2017. 07. 26.

Video Analysis and Summarization참고 문헌 29인용 수 8

한 줄 요약

이 논문은 리그 오브 레전드 경기의 시각적 특징과 영어 및 번체중국어로 된 실시간 관객 채팅 반응을 결합한 다중모달 접근 방식을 통해 e스포츠에서 영상 하이라이트 예측을 제안한다. 트위치.tv 방송에서 확보한 새로운 데이터셋을 바탕으로, 시각과 언어 모odal을 모두 활용하는 특수한 캐릭터 수준의 CNN-RNN 모델이 74.8%의 최고 F1 스코어를 기록함으로써 단모달 모델을 능가했으며, 언어적 맥락이 어려운 시각적 하이라이트를 해소하는 데 도움이 된다는 것을 입증한다.

ABSTRACT

Sports channel video portals offer an exciting domain for research on multimodal, multilingual analysis. We present methods addressing the problem of automatic video highlight prediction based on joint visual features and textual analysis of the real-world audience discourse with complex slang, in both English and traditional Chinese. We present a novel dataset based on League of Legends championships recorded from North American and Taiwanese Twitch.tv channels (will be released for further research), and demonstrate strong results on these using multimodal, character-level CNN-RNN model architectures.

연구 동기 및 목표

• 실시간 관객 채팅 논의를 맥락적이고 다중모달 신호의 원천으로 활용하여 e스포츠에서 자동 영상 하이라이트 예측 문제를 해결하고자 한다.
• 트위치.tv 방송에서의 하이라이트 애너테이션된 경기 데이터를 기반으로 영어(NALCS)와 번체중국어(LMS)를 포함한 새로운 대규모 다국어 데이터셋을 구축하고 공개하고자 한다.
• 영상 하이라이트 예측을 위해 시각적 영상 특징과 텍스트 기반 관객 채팅 반응을 함께 분석하는 다중모달 모델의 효과성을 평가하고자 한다.
• 팬 채팅에서 유도된 언어적 신호가 특히 모호하거나 복잡한 게임 순간에서 시각적 하이라이트 검출을 향상시키는 데 기여하는지 조사하고자 한다.
• 영어와 번체중국어 모델 간의 성능 격차를 분석하고, 채팅 량과 언어적 복잡성의 모델 정확도에 미치는 영향을 평가하고자 한다.

제안 방법

• 저자들은 트위치.tv에서 생중계되는 리그 오브 레전드 경기에서 커뮤니티가 만든 하이라이트를 기준으로 하이라이트 클립을 수집하고 애너테이션한다.
• 영상 클립에 3D 컨볼루션 네트워크(V-CNN)를 적용하여 시각적 특징을 추출하고, 채팅 텍스트는 캐릭터 수준의 LSTM(L-Char-LSTM)을 사용하여 슬랭 및 다국어 표현과 같은 언어 패턴을 포착한다.
• 모델은 교차 엔트로피 손실를 사용하며, 균형 잡힌 샘플링 전략을 적용하여 에포크당 5,000개의 양성 프레임과 5,000개의 음성 프레임을 사용하고, 배치 크기를 32로 설정하여 총 60 에포크 동안 훈련한다.
• 다중모달 융합을 위해 시각적 특징과 언어적 특징을 연결하여 두 층의 다층퍼셉트론(MLP)을 통과시켜 $lv$-LSTM 모델을 구성하며, 이는 하이라이트 프레임을 동시에 예측한다.
• 저자들은 영상 전용, 채팅 전용, 통합 입력을 사용한 별도의 모델을 훈련하고 정밀도, 재현율, F1 스코어를 사용하여 성능을 평가함으로써 추론 분석을 수행한다.
• 서브워드 수준 표현의 영향을 평가하기 위해 캐릭터 수준의 LSTM과 단어 수준의 LSTM을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 언어(영어 및 번체중국어)로 된 실시간 관객 채팅 반응이 e스포츠 영상 하이라이트 예측에 유용한 맥락 신호를 제공할 수 있는가?
• RQ2 시각적 특징과 언어적 특징을 융합한 다중모달 모델의 성능이 영상 또는 채팅 전용으로 훈련된 단모달 모델보다 뛰어난가?
• RQ3 다국어 채팅에서 복잡한 슬랭과 비표준 철자법을 다룰 때, 캐릭터 수준의 모델링이 단어 수준의 모델링보다 성능 향상에 기여하는가?
• RQ4 언어 다양성과 채팅 량이 다양한 언어, 특히 번체중국어와 같은 저자원 환경에서 모델 성능에 어느 정도 영향을 미치는가?
• RQ5 팬 코멘터리에서 유도된 언어적 신호가 컴퓨터 비전 기반 접근만으로는 해결하기 어려운 시각적 하이라이트 탐지의 모호성을 해소하는 데 기여하는가?

주요 결과

• 시각적 특징과 언어적 특징을 융합한 다중모달 $lv$-LSTM 모델은 테스트 세트에서 최고의 F1 스코어 74.8%를 기록했으며, 이는 단모달 모델을 모두 능가하는 성능이다.
• 영상 전용 V-CNN-LSTM 모델은 하이라이트 클립의 마지막 25%에서 F1 스코어 68.3%를 기록했으며, 게임 애니메이션의 복잡성에도 불구하고 강력한 시각적 성능를 보였다.
• 채팅 전용 L-Char-LSTM 모델은 하이라이트 프레임의 100%를 사용할 경우 F1 스코어 19.6%를 기록했지만, 마지막 25%만 사용할 경우 41.5%로 향상되었으며, 이는 언어 모델링에서 시간적 맥락의 중요성을 시사한다.
• L-Char-LSTM 모델은 L-Word-LSTM 모델보다 F1 스코어에서 22.3% 높은 성능를 보였으며, 이는 다국어 채팅에서 슬랭 및 희귀어 처리에 캐릭터 수준의 모델링이 더 효과적임을 나타낸다.
• LMS(번체중국어) 데이터셋에서는 L-Char-LSTM 모델이 F1 스코어 39.7%를 기록했고, NALCS(영어) 데이터셋의 43.2%보다 낮았으며, 이는 번체중국어 채팅 처리에 언어 특화된 과제가 있음을 시사한다.
• NALCS(영어) 데이터셋은 더 높은 채팅 량을 보였음에도 불구하고 L-Char-LSTM 모델의 성능이 LMS에서 더 뛰어나, 모델 성능에 영향을 미치는 데 언어의 내용과 구조가 량보다 더 중요하다는 것을 시사한다.