[논문 리뷰] Response to LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts

Hao Wu, Gareth J. F. Jones외 1명|arXiv (Cornell University)|2020. 06. 04.

Topic Modeling참고 문헌 7인용 수 7

한 줄 요약

이 논문은 자동 라이브 비디오 코멘터리(automatic live video commenting, ALVC)를 위한 LiveBot 시스템에서 보고된 결과와 재현된 결과 간의 격차를 조사하며, 겹치는 훈련 및 테스트 세트로부터 발생하는 데이터 泄露가 주요 원인임을 규명한다. 본 연구는 정제된 데이터셋을 사용한 OpenNMT 기반 보정된 베이스라인 구현을 제안하여 재현 가능성을 향상시키고 향후 ALVC 연구를 위한 새로운 기준을 제시한다.

ABSTRACT

Live video commenting systems are an emerging feature of online video sites. Recently the Chinese video sharing platform Bilibili, has popularised a novel captioning system where user comments are displayed as streams of moving subtitles overlaid on the video playback screen and broadcast to all viewers in real-time. LiveBot was recently introduced as a novel Automatic Live Video Commenting (ALVC) application. This enables the automatic generation of live video comments from both the existing video stream and existing viewers comments. In seeking to reproduce the baseline results reported in the original Livebot paper, we found differences between the reproduced results using the project codebase and the numbers reported in the paper. Further examination of this situation suggests that this may be caused by a number of small issues in the project code, including a non-obvious overlap between the training and test sets. In this paper, we study these discrepancies in detail and propose an alternative baseline implementation as a reference for other researchers in this field.

연구 동기 및 목표

• 자동 라이브 비디오 코멘터리(ALVC)를 위한 LiveBot 시스템에서 보고된 성능과 재현된 성능 간의 격차를 조사하고 해결하는 것.
• 공개된 LiveBot 데이터셋에서 데이터 泄露 문제를 규명하고, 특히 훈련 세트와 테스트 세트 간에 겹치는 댓글과 중복된 비디오가 존재하는지 확인하는 것.
• 정제된 데이터셋을 사용한 OpenNMT 프레임워크 기반의 새로운 재현 가능한 베이스라인 구현을 제공하여 향후 ALVC 모델의 공정한 평가를 보장하는 것.
• 구현 및 데이터 품질 문제를 해결함으로써 다중모odal 비디오 코멘터리 생성 분야의 벤치마킹 신뢰성과 투명성을 향상시키는 것.

제안 방법

• 더 나은 재현 가능성을 확보하기 위해 OpenNMT 신경 기계 번역 프레임워크를 사용해 LiveBot의 통합 Transformer 모델을 재구현하였다.
• 원본 원시 데이터에서 다시 구성함으로써 훈련 세트와 테스트 세트 간에 중복되는 댓글과 동일한 비디오를 제거하였다.
• 표준 전처리를 적용: 중복 비디오 38개 제거, 재분할하여 훈련 2,122개, 검증 100개, 테스트 100개 비디오로 구성.
• 어휘 크기 30,000, 단어 및 히든 차원 512, 드롭아웃 비율 0.2, β₁=0.9 및 β₂=0.998를 사용한 Adam 옵timizer 적용.
• 정제된 데이터셋에서 모델을 재학습하고 동일한 검색 기반 평가 지표(Recall@1, Recall@5, Recall@10, Mean Reciprocal Rank)를 사용해 평가하였다.
• 원래 문제 상황과 다양한 설정을 비교함으로써 데이터 泄露가 성능에 미치는 영향을 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 왜 LiveBot의 ALVC 모델에 대한 재현된 결과가 원본 논문에서 보고된 성능보다 크게 떨어지는가?
• RQ2 특히 겹치는 댓글과 중복된 비디오로 인한 데이터 泄露가 LiveBot 베이스라인의 과도한 성능 지표에 어느 정도 기여하는가?
• RQ3 정제된 데이터셋과 완전히 재현 가능한 구현이 향후 ALVC 연구를 위한 신뢰할 수 있는 새로운 기준이 될 수 있는가?
• RQ4 훈련 및 테스트 세트에서 데이터 泄露를 체계적으로 제거했을 때 성능 지표는 어떻게 변화하는가?
• RQ5 중복된 비디오와 겹치는 댓글을 제거함으로써 모델의 일반화 능력과 평가의 공정성에 어떤 영향을 미치는가?

주요 결과

• 원본 LiveBot 결과는 훈련 및 테스트 세트 간 5,436개의 겹치는 댓글과 38개의 ID가 다른 동일한 비디오로 인한 데이터 泄露로 인해 과도하게 높아진 것으로 보인다.
• 중복 비디오와 겹치는 댓글을 제거한 후 모델의 성능은 약간 감소하였으며, 이는 원본 결과가 데이터 泄露의 영향을 받았음을 시사한다.
• 정제된 데이터셋을 사용해 OpenNMT로 재구현한 결과는
• Issue #1-4
• 구성과 매우 유사한 성능을 기록하여 새로운 베이스라인의 정확성을 검증하였다.
• 정제된 데이터셋을 사용한 새로운 베이스라인 구현은 유효하고 재현 가능하며, 향후 ALVC 연구를 위한 공정한 기준점이 된다.
• 원본 결과와 재현된 결과 간의 성능 격차는 주로 모델 아키텍처나 하이퍼파라미터의 차이가 아니라 데이터 泄露 때문임을 규명하였다.
• 본 연구는 원본 결과가 공개되지 않은 데이터 泄露로 인해 완전히 재현 가능하지 않으며, 새로운 구현은 투명하고 감사 가능한 벤치마크를 제공한다.