[논문 리뷰] Convolutional Collaborative Filter Network for Video Based Recommendation Systems

Cheng-Kang Hsieh, Miguel Del Campo외 4명|arXiv (Cornell University)|2018. 10. 18.

Recommender Systems and Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 영화 예고편의 물체 시퀀스를 시간적 순서로 모델링하기 위해 1D 컨볼루션 레이어를 프레임 수준의 특징에 적용함으로써 영상 기반 추천 성능을 향상시키는 컨volutional 코랩러티브 필터 네트워크(CCFN)를 제안한다. 촬영 지속 시간이나 반복성과 같은 동적 시각 패턴을 포착함으로써, 평균 풀링 기반 모델보다 우수한 성능을 보이며, 장르에 따라 학습된 물체-시퀀스의 활성화 분석을 통해 모델의 해석 가능성도 향상시킨다.

ABSTRACT

This analysis explores the temporal sequencing of objects in a movie trailer. Temporal sequencing of objects in a movie trailer (e.g., a long shot of an object vs intermittent short shots) can convey information about the type of movie, plot of the movie, role of the main characters, and the filmmakers cinematographic choices. When combined with historical customer data, sequencing analysis can be used to improve predictions of customer behavior. E.g., a customer buys tickets to a new movie and maybe the customer has seen movies in the past that contained similar sequences. To explore object sequencing in movie trailers, we propose a video convolutional network to capture actions and scenes that are predictive of customers' preferences. The model learns the specific nature of sequences for different types of objects (e.g., cars vs faces), and the role of sequences in predicting customer future behavior. We show how such a temporal-aware model outperforms simple feature pooling methods proposed in our previous works and, importantly, demonstrate the additional model explain-ability allowed by such a model.

연구 동기 및 목표

• 정적 프레임 특징을 넘어서 영화 예고편의 시간적 동적 특징을 모델링하여 냉시작 영화 추천 성능을 향상시키기.
• 영상 표현에서 평균 풀링의 한계를 해결하기 위해 순서적이고 시간적인 정보를 손실하는 문제를 해결하기.
• 예측에 기여하는 시각적 시퀀스(예: 근접 촬영, 빠른 컷)를 식별함으로써 모델의 해석 가능성 향상하기.
• 영상 수준의 시간적 패턴을 협업 필터링과 통합하여 사용자 행동 예측 성능 향상시키기.
• 하이브리드 추천 시스템에서 시퀀스 인식 영상 표현이 더 예측력이 높다는 것을 입증하기.

제안 방법

• 모델은 각 영화 예고편의 프레임에 대해 사전 학습된 이미지 특징 추출기를 사용하여 고밀도 임베딩을 생성한다.
• 이러한 프레임 수준의 특징은 시간에 따라 스택되고, 다중 1D 컨볼루션 레이어를 통해 물체 존재 및 전환의 시간적 패턴을 학습한다.
• 컨볼루션 레이어는 연속된 프레임을 가로질러 필터를 적용하여 반복적인 시각적 시퀀스(예: 빠른 컷, 지속적인 근접 촬영)를 탐지하며, 이는 장르나 내러티브 스타일을 나타낸다.
• 특히 1프레임 필터를 사용할 경우 기울기 흐름과 특징 학습을 향상시키기 위해 첫 번째 컨볼루션 레이어에 잔차 연결을 사용한다.
• 최종 특징 맵은 전역 평균 풀링을 거쳐 협업 필터링 레이어에 입력되어 이전 사용자 행동 기반으로 사용자 선호도를 예측한다.
• 영상 표현 학습과 협업 필터링 손실의 조합을 사용하여 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 영화 예고편의 물체 시퀀스를 시간적 순서로 모델링하면 영상 기반 추천 시스템의 정확도가 향상되는가?
• RQ2 다양한 컨볼루션 필터 크기와 네트워크 아키텍처는 시퀀스 인식 영상 표현의 추천 작업 성능에 어떤 영향을 미치는가?
• RQ3 학습된 컨볼루션 필터가 사용자 선호도를 예측하는 데 기여하는 시각적 패턴에 대해 얼마나 해석 가능한 통찰을 제공하는가?
• RQ4 프레임 특징의 평균 풀링 대비 제안된 방법은 예측 능력과 해석 가능성 면에서 어떻게 비교되는가?
• RQ5 액션, 애니메이션, 러브스토리, 호러, 몬스터, 전쟁 등 다양한 장르에서 사용자 행동을 예측하는 데 가장 예측력 있는 시각적 시퀀스(예: 촬영 지속 시간, 반복성)는 무엇인가?

주요 결과

• 충분히 큰 수신장(필터 크기 > 4 프레임)이 모델 성능에 매우 중요하며, 필터 크기가 8 프레임을 초과하면 성능이 포화 상태에 도달한다.
• 잔차 연결이 성능 향상에 크게 기여하며, 특히 1프레임 컨볼루션 필터를 사용할 경우 상호 프레임 상관관계 학습이 향상됨을 시사한다.
• 모델은 장르별로 특화된 시각적 템플릿을 성공적으로 학습한다: 예를 들어, 채널 4는 호러 영화에서 흔한 느리고 강렬한 근접 촬영에 반응하고, 채널 8은 액션 또는 슈퍼히어로 영화에서 흔한 고에너지 스타일의 액션 장면에 반응한다.
• 냉시작 상황에서 사용자 행동 예측에 더 유용한 동적이고 시퀀스 수준의 특징을 포착함으로써, 단순 평균 풀링 기반 모델보다 성능이 뛰어나다.
• 활성화 맵 분석을 통해 액션, 애니메이션, 러브스토리, 호러, 몬스터, 전쟁 등 다양한 장르에서 의미 있는 물체-시퀀스를 학습한 것으로 확인된다.
• 필터 활성화를 통한 해석 가능성 덕분에 연구자들이 사용자 선호도를 예측하는 데 가장 기여하는 시각적 패턴(예: 촬영 빈도, 물체 집중)을 해석할 수 있다.