[논문 리뷰] LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts

Shuming Ma, Lei Cui외 3명|arXiv (Cornell University)|2018. 09. 13.

Multimodal Machine Learning Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 시각적 및 텍스트적 맥락을 활용하여 실시간으로 맥락에 맞는 코멘터리를 생성하는 최초의 작업 및 시스템인 LiveBot을 소개한다. 두 가지 신경망 모델—Fusional RNN과 Unified Transformer—을 제안하며, 이는 영상 프레임과 주변 코멘터리를 함께 인코딩하여 자동 평가(MRR) 및 인간 평가에서 베이스라인을 능가한다. Unified Transformer는 인간 수준의 유창성과 관련성 점수에 근접한다.

ABSTRACT

We introduce the task of automatic live commenting. Live commenting, which is also called `video barrage', is an emerging feature on online video sites that allows real-time comments from viewers to fly across the screen like bullets or roll at the right side of the screen. The live comments are a mixture of opinions for the video and the chit chats with other comments. Automatic live commenting requires AI agents to comprehend the videos and interact with human viewers who also make the comments, so it is a good testbed of an AI agent's ability of dealing with both dynamic vision and language. In this work, we construct a large-scale live comment dataset with 2,361 videos and 895,929 live comments. Then, we introduce two neural models to generate live comments based on the visual and textual contexts, which achieve better performance than previous neural baselines such as the sequence-to-sequence model. Finally, we provide a retrieval-based evaluation protocol for automatic live commenting where the model is asked to sort a set of candidate comments based on the log-likelihood score, and evaluated on metrics such as mean-reciprocal-rank. Putting it all together, we demonstrate the first `LiveBot'.

연구 동기 및 목표

• 온라인 영상에 대한 자동 라이브 코멘터링이라는 새로운 작업을 제안하고 정의하기.
• 연구를 위해 2,361개의 영상과 895,929개의 라이브 코멘터리가 포함된 대규모 데이터셋을 빅리뷰(Bilibili)에서 구축하기.
• 맥락에 맞는 라이브 코멘터리를 생성하기 위해 시각적 및 텍스트적 맥락을 공동으로 인코딩하는 신경망 모델 개발하기.
• 의미 척도 평가(MRR) 등 검색 기반 평가 프로토콜을 설정하여 모델 간 비교의 신뢰성을 확보하기.
• 유창성, 관련성, 정확성의 세 가지 차원에서 자동 평가 및 인간 평가를 통해 모델 성능 평가하기.

제안 방법

• 이 작업은 영상 프레임, 타임스탬프, 주변 코멘터리, 근접한 영상 프레임을 조건으로 하여 코멘터리 생성으로 정의된다.
• 빅리뷰(Bilibili)에서 대규모 라이브 코멘터리 데이터셋을 수집하였으며, 시간적 및 맥락적 주석이 포함된 2,361개의 영상과 895,929개의 코멘터리로 구성되어 있다.
• 두 가지 신경망 모델—Fusional RNN과 Unified Transformer—을 제안하며, 이는 영상 프레임에서 추출한 시각적 특징과 주변 코멘터리에서 온 텍스트적 맥락을 함께 인코딩한다.
• 모델들은 주목적 메커니즘을 사용하여 관련 있는 시각적 영역과 코멘터리 기록에 주목함으로써 맥락 인식 기반의 코멘터리 생성을 가능하게 한다.
• 모델들이 후보 코멘터리를 로그우도 기반으로 순위 매기며, 성능은 MRR 및 기타 검색 지표로 측정되는 검색 기반 평가 프로토콜을 도입하였다.
• 유창성, 관련성, 정확성의 세 가지 차원에서 인간 평가를 실시하였으며, 세 평가자 평균 점수를 기반으로 분석하였다.

실험 결과

연구 질문

• RQ1 신경망 모델은 영상 콘텐츠와 주변 코멘터리 양쪽에 맥락적으로 관련된 실시간 영상 코멘터리를 효과적으로 생성할 수 있는가?
• RQ2 시각적 및 텍스트적 맥락을 공동으로 인코딩하는 것이 단모달 입력에 비해 실시간 코멘터리 생성에 어떤 영향을 미치는가?
• RQ3 주변 코멘터리가 생성된 실시간 코멘터리의 품질과 관련성에 어느 정도 기여하는가?
• RQ4 제안된 검색 기반 평가 프로토콜은 BLEU나 ROUGE와 같은 자동 평가 지표에 비해 코멘터리 품질 평가에서 어떻게 다를까?
• RQ5 Unified Transformer 모델은 실시간 코멘터리 생성에서 인간 수준의 유창성과 관련성을 달성할 수 있는가?

주요 결과

• 제안된 Fusional RNN과 Unified Transformer 모델은 자동 MRR 평가 및 인간 평가 모두에서 강력한 S2S-IC 베이스라인을 뛰어넘는 성능을 보였다.
• Unified Transformer는 5점 척도에서 평균 관련성 점수 4.27, 유창성 4.43, 정확성 4.31을 기록하였으며, 인간 생성 코멘터리 수준(관련성: 4.12, 유창성: 4.50, 정확성: 4.40)에 근접하였다.
• 시각적 및 텍스트적 맥락을 모두 사용한 모델이 영상 또는 코멘터리만 사용한 모델보다 우수하여 다중모달 융합의 중요성을 입증하였다.
• 주변 코멘터리만을 입력으로 사용한 모델가 영상 입력만을 사용한 모델보다 성능이 뛰어나, 코멘터리 기록이 다음 코멘터리 예측에 더 직접적인 단서를 제공한다는 것을 시사한다.
• 인간 평가에서는 평균 스피어만 상관계수 0.63을 기록하여 평가자 간 일관성이 높음을 확인하였으며, 이는 평가 과정의 신뢰성을 뒷받침한다.
• 검색 기반 평가 프로토콜은 고품질 코멘터리와 저품질 코멘터리를 효과적으로 구분하였으며, Unified Transformer는 테스트된 모든 모델 중 가장 높은 MRR를 기록하였다.