[논문 리뷰] Using Mise-En-Scène Visual Features based on MPEG-7 and Deep Learning for Movie Recommendation

Yashar Deldjoo, Massimo Quadrana외 2명|arXiv (Cornell University)|2017. 04. 20.

Video Analysis and Summarization참고 문헌 32인용 수 11

한 줄 요약

이 논문은 영화 예고편에서 자동으로 추출한 미제-앙-상 시각적 특징—특히 MPEG-7 기반 기술과 딥러닝 기반 특징—을 활용하여 영화 추천 성능을 향상시키는 것을 제안한다. 실험 결과, 이러한 저수준의 시각적 특징이 전통적인 인간이 생성한 특징인 장르나 태그보다 상위-N 추천 작업에서 뛰어난 성능을 보이며, 두 특징 유형의 융합이 가장 우수한 성능을 얻는다.

ABSTRACT

Item features play an important role in movie recommender systems, where recommendations can be generated by using explicit or implicit preferences of users on traditional features (attributes) such as tag, genre, and cast. Typically, movie features are human-generated, either editorially (e.g., genre and cast) or by leveraging the wisdom of the crowd (e.g., tag), and as such, they are prone to noise and are expensive to collect. Moreover, these features are often rare or absent for new items, making it difficult or even impossible to provide good quality recommendations. In this paper, we show that user's preferences on movies can be better described in terms of the mise-en-scène features, i.e., the visual aspects of a movie that characterize design, aesthetics and style (e.g., colors, textures). We use both MPEG-7 visual descriptors and Deep Learning hidden layers as example of mise-en-scène features that can visually describe movies. Interestingly, mise-en-scène features can be computed automatically from video files or even from trailers, offering more flexibility in handling new items, avoiding the need for costly and error-prone human-based tagging, and providing good scalability. We have conducted a set of experiments on a large catalogue of 4K movies. Results show that recommendations based on mise-en-scène features consistently provide the best performance with respect to richer sets of more traditional features, such as genre and tag.

연구 동기 및 목표

• 비용이 많이 드는 인간이 생성한 특징 대신 자동으로 추출한 시각적 특징을 활용하여 영화 추천에서의 신규 항목 문제를 해결하고자 한다.
• 저수준의 시각적 스타일 특징(미제-앙-상)이 전통적인 고수준 특징인 장르, 태그, 출연진과 비교하여 추천 성능에서 뛰어나지 못할지 조사하고자 한다.
• 전체 영화 분석 대비 확장 가능한 대체 수단으로서 영화 예고편에서 추출한 시각적 특징의 효과성을 평가하고자 한다.
• MPEG-7 기반 기술과 딥러닝 기반 특징의 융합 잠재력을 탐색하고, 추천 품질 향상에 기여하고자 한다.
• 시각적 스타일이 사용자 선호도에 미치는 영향을 평가하여, 스타일이 내용이나 의미적 특징보다 더 큰 영향을 미칠 수 있음을 시사하고자 한다.

제안 방법

• 영화 프레임에서 색상, 텍스처, 에지 정보를 포함한 MPEG-7 표준을 활용해 미제-앙-상 시각적 특징을 추출한다.
• 사전 훈련된 딥러닝 모델(예: VGG 또는 유사 모델)을 사용해 영상 프레임 또는 예고편에서 고수준의 시각적 표현을 추출한다.
• 전체 영화 분석 대비 계산 부담을 줄이기 위해 전체 영화가 아닌 예고편에서 특징 벡터를 계산한다.
• 추출된 시각적 특징을 입력으로 사용해 공동 필터링 및 콘텐츠 기반 필터링 모델을 훈련하고 평가한다.
• MPEG-7와 딥러닝 기반 특징을 조기 융합 또는 후기 융합 전략을 통해 융합하여 추천 성능을 향상시킨다.
• 대규모 4K 영화 데이터셋에서 정밀도, 재현율, NDCG와 같은 표준 메트릭을 사용해 추천 품질을 평가한다.

실험 결과

연구 질문

• RQ1 영화 예고편에서 추출한 미제-앙-상 시각적 특징이 전통적인 인간이 생성한 특징인 장르나 태그보다 더 나은 영화 추천을 제공할 수 있는가?
• RQ2 MPEG-7 시각적 기술 기반 특징과 딥러닝 기반 특징 간의 상위-N 순위 정확도를 비교했을 때, 어떤 특징이 더 뛰어난 성능을 보이는가?
• RQ3 MPEG-7와 딥러닝 기반 시각적 특징을 융합하면 단독으로 사용할 경우보다 더 뛰어난 추천 성능을 얻을 수 있는가?
• RQ4 영화 예고편에서 추출한 시각적 특징가 전체 영화의 스타일적 특성과 얼마나 유사한가?
• RQ5 사용자 선호도가 의미적 또는 문법적 콘텐츠 특징보다 시각적 스타일에 더 강하게 영향을 받는다는 증거가 있는가?

주요 결과

• MPEG-7 기반 시각적 특징은 상위-N 추천 성능에서 장르 및 태그 특징을 일관되게 능가하여 더 높은 정밀도와 NDCG 점수를 기록했다.
• 딥러닝 기반 시각적 특징은 장르나 태그와 같은 인간이 생성한 특징과 유사한 추천 품질을 제공했지만, 이를 초월하지 못했다.
• MPEG-7와 딥러닝 기반 시각적 특징의 융합은 전체적으로 가장 뛰어난 추천 성능을 달성했으며, 이는 두 접근법 간 상호보완적 강점이 있음을 시사한다.
• 예고편에서 추출한 시각적 특징가 전체 영화의 특징과 강한 상관관계를 보였으며, 이는 예고편을 특징 추출의 확장 가능한 대체 수단으로 사용할 수 있음을 검증한다.
• 결과적으로 사용자 선호도는 장르나 스토리의 우선성을 가진다는 기존 가정을 뒤집고, 시각적 스타일(Mise-en-Scène)이 의미적 또는 문법적 콘텐츠 특징보다 더 강력한 영향을 미친다는 것이 밝혀졌다.
• MPEG-7 특징의 저차원성(774개 요소)과 예고편에서의 자동 추출 방식은 새로운 항목 추천을 위한 확장 가능하고 비용 효율적이며 견고한 솔루션을 제공한다.