[논문 리뷰] Content-based Video Relevance Prediction Challenge: Data, Protocol, and Baseline

Mengyi Liu, Xiaohui Xie외 1명|arXiv (Cornell University)|2018. 06. 03.

Recommender Systems and Techniques참고 문헌 1인용 수 8

한 줄 요약

이 논문은 ACM Multimedia 2018에서 열린 콘텐츠 기반 영상 관련성 예측(CBVRP) 챌린지에 대해 기술하며, 익명화된 사용자 암시적 피드백에서 유도된 참조 관련성 순위를 포함한 텔레비전 프로그램 및 영화 예고편으로 구성된 대규모 데이터셋을 제공한다. 영상 특징(시각적, 청각적, 메타데이터)을 사용한 콘텐츠 기반 관련성 예측 평가를 위한 프로토콜을 제안하며, 기본 성능 결과로 삼중 네트워크 학습이 비지도 코사인 유사도보다 성능을 향상시키며, 특히 Inception과 C3D 특징의 후기 융합이 텔레비전 프로그램과 영화 모두에서 성능 향상을 이룬다.

ABSTRACT

Video relevance prediction is one of the most important tasks for online streaming service. Given the relevance of videos and viewer feedbacks, the system can provide personalized recommendations, which will help the user discover more content of interest. In most online service, the computation of video relevance table is based on users' implicit feedback, e.g. watch and search history. However, this kind of method performs poorly for "cold-start" problems - when a new video is added to the library, the recommendation system needs to bootstrap the video relevance score with very little user behavior known. One promising approach to solve it is analyzing video content itself, i.e. predicting video relevance by video frame, audio, subtitle and metadata. In this paper, we describe a challenge on Content-based Video Relevance Prediction (CBVRP) that is hosted by Hulu in the ACM Multimedia Conference 2018. In this challenge, Hulu drives the study on an open problem of exploiting content characteristics directly from original video for video relevance prediction. We provide massive video assets and ground truth relevance derived from our really system, to build up a common platform for algorithm development and performance evaluation.

연구 동기 및 목표

• 사용자 피드백이 희박한 상황에서 발생하는 추천 시스템의 쿨스타트 문제를 해결하기 위해, 사용자 피드백에 의존하지 않고 영상 콘텐츠 자체에서 관련성을 직접 예측하고자 한다.
• 실제 스트리밍 데이터를 활용한 콘텐츠 기반 영상 관련성 예측 평가를 위한 표준화된 벤치마크를 확립하고자 한다.
• 다양한 영상 콘텐츠 유형 간의 알고리즘 간 공정한 비교를 가능하게 하는 공개 데이터셋과 평가 프로토콜을 제공하고자 한다.
• 다중 모odal 특징(시각적, 청각적, 텍스처적)과 관련성 점수 산정을 위한 메트릭 학습에 초점을 맞춰 영상 표현 학습 분야의 연구를 촉진하고자 한다.

제안 방법

• 저작권 및 법적 제약을 고려해 전체 영상 대신 예고편을 사용하며, Inception 및 C3D 네트워크로부터 사전 추출된 특징을 활용한다.
• 참조 관련성 목록은 익명화된 사용자 암시적 피드백(예: 시청 기록 및 검색 기록)에서 유도되며, 개인정보 보호를 위해 정제된다.
• 참조 관련성이 높은 영상가까이 오도록 메트릭 공간을 학습하기 위해, 참조 관련성 목록에서 유도된 앵커-양성-음성 삼중조를 사용해 삼중 네트워크를 훈련한다.
• 기본 성능 모델로는 특징 임bedding 간 비지도 코사인 유사도와 임베딩 차원 d=256를 사용한 지도형 삼중 손실 최적화가 포함된다.
• 후기 융합은 여러 특징 유형(예: Inception-pool3 및 C3D-pool5)의 예측을 유사도 행렬의 평균을 취해 융합함으로써 정확도 향상에 기여한다.
• 평가에서는 k=5, 10, 20, 30, 50, 100, 200, 300일 때의 히트@k 및 리콜@k를 사용하며, 검증 및 테스트 세트에서 성능 결과를 보고한다.

실험 결과

연구 질문

• RQ1 사용자 피드백에 의존하지 않고 영상 콘텐츠 특징(시각적, 청각적, 텍스처적)만으로 텔레비전 프로그램과 영화 간의 관련성을 얼마나 잘 예측할 수 있는가?
• RQ2 콘텐츠 기반 영상 관련성 예측에서 단순한 코사인 유사도에 비해 삼중 네트워크를 통한 메트릭 학습이 얼마나 성능 향상에 기여하는가?
• RQ3 다중 모달 특징(예: Inception 및 C3D)의 후기 융합이 관련성 예측 정확도 향상에 얼마나 효과적인가?
• RQ4 다른 영상 유형(TV 프로그램 대비 영화)과 장르 분포는 관련성 예측 모델의 일반화 능력에 얼마나 영향을 미치는가?
• RQ5 오직 콘텐츠 기반 특징만을 사용해 쿨스타트 영상 관련성 예측을 위한 통합 프레임워크를 구축할 수 있는가?

주요 결과

• Inception-pool3와 C3D-pool5 특징의 후기 융합을 적용한 삼중 네트워크가 가장 높은 성능을 기록했으며, 텔레비전 프로그램 검증 세트에서는 히트@5가 0.272, 영화 검증 세트에서는 0.190를 기록했다.
• 테스트 세트에서 후기 융합은 영화의 히트@5를 0.249로 향상시켰고, 텔레비전 프로그램의 경우도 동일한 성능을 기록하며 개별 특징 유형과 비지도 코사인 유사도를 모두 초월했다.
• 삼중 네트워크는 비지도 코사인 유사도에 비해 일관되게 성능 향상을 이뤘으며, 특히 k=100 및 k=200와 같은 높은 k 값에서 성능 향상이 두드러져 장꼬리 관련성에 대한 일반화 능력 향상이 확인되었다.
• C3D-pool5 특징는 텔레비전 프로그램과 영화 모두에서 Inception-pool3에 비해 더 높은 성능을 기록했으며, 특히 리콜@k 지표에서 두드러진 성능 향상을 보여, 더 나은 시간적 모델링 능력을 지녔음을 시사한다.
• 전체 영상 대신 예고편을 사용하는 것이 모델 성능에 유의미한 영향을 주지 않아, 대규모 벤치마크에 적합한 접근법임을 검증했다.
• 기본 성능 결과로 비지도 방법인 코사인 유사도조차도 유의미한 성능(예: 텔레비전 프로그램의 경우 히트@5 ≈ 0.23)을 기록함으로써 영상 콘텐츠 내부에 내재된 구조적 특성이 있음을 시사한다.