[논문 리뷰] FusedLSTM: Fusing frame-level and video-level features for Content-based Video Relevance Prediction

Yash Bhalgat|arXiv (Cornell University)|2018. 09. 28.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 FusedLSTM을 제안하며, 프레임 수준의 Inception-pool3와 비디오 수준의 C3D-pool5 특징을 LSTM과 밀집층을 사용해 융합하여 영상 관련성 예측을 수행하는 딥러닝 모델이다. 삼중체 손실 최소화 및 온라인 커널 유사도 학습을 통해 ACMMM-2018 CBVRP 챌린지에서 최신 기술 성능을 달성하였으며, 영화 및 TV 시리즈 트랙에서 베이스라인 및 OMKS 방법을 모두 초월하였다.

ABSTRACT

This paper describes two of my best performing approaches on the Content-based Video Relevance Prediction challenge. In the FusedLSTM based approach, the inception-pool3 and the C3D-pool5 features are combined using an LSTM and a dense layer to form embeddings with the objective to minimize the triplet loss function. In the second approach, an Online Kernel Similarity Learning method is proposed to learn a non-linear similarity measure to adhere the relevance training data. The last section gives a complete comparison of all the approaches implemented during this challenge, including the one presented in the baseline paper.

연구 동기 및 목표

• 사용자 행동 데이터에 의존하지 않고 콘텐츠 기반 관련성 예측을 가능하게 하여 영상 추천에서의 쿨스타트 문제를 해결하고자 한다.
• 딥 뉴럴 네트워크를 사용해 다중 수준의 특징(프레임 수준 및 비디오 수준)을 융합하여 영상 관련성 예측 성능을 향상시키고자 한다.
• 삼중체 손실을 최소화하여 관련 영상가 서로 가까이, 관련이 없는 영상은 멀리 떨어지도록 하는 강력한 영상 임베딩을 학습하고자 한다.
• 비선형 유사도 학습을 위해 온라인 커널 방법을 활용하여 일반화 성능을 향상시키고 과적합을 방지하고자 한다.
• 실세계 영상 검색 벤치마크에서 FusedLSTM 및 커널 기반 방법을 포함한 다양한 아키텍처를 평가하고 비교하고자 한다.

제안 방법

• FusedLSTM는 프레임 수준의 Inception-pool3와 비디오 수준의 C3D-pool5 특징을 LSTM을 거쳐 밀집층을 통해 통합 임베딩을 생성한다.
• 모델은 삼중체 손실을 사용하여, 기준 영상와 양성 영상 간의 유사도가 음성 영상과의 유사도보다 간격을 확보하도록 훈련된다.
• 삼중체 손실 목적함수 내에서 쌍별 유사도를 계산하기 위해 코사인, RBF, 소프트맥스 세 가지 커널을 사용한다.
• 임베딩 노름의 폭발을 방지하기 위해 삼중체 손실 함수에 L2 정규화를 적용한다.
• 반복적인 기준점 사용으로 인한 과적합을 줄이기 위해 앵커 포인트 미러링을 사용하여 훈련 데이터의 다양성을 증가시킨다.
• 비디오 특징에서 비선형 유사도 함수를 학습하기 위해 온라인 커널 유사도 학습 방법(OMKS)도 제안한다.

실험 결과

연구 질문

• RQ1 LSTM를 통해 프레임 수준 및 비디오 수준의 특징을 융합함으로써 영상 관련성 예측 성능을 향상시킬 수 있는가?
• RQ2 다양한 유사도 커널을 사용한 삼중체 손실이 영상 검색에서 더 나은 일반화 성능을 이끌어내는가?
• RQ3 FusedLSTM 아키텍처는 히트@k 및 리콜@k 지표에서 기준선 및 OMKS 방법과 비교해 어떻게 성능을 내는가?
• RQ4 앵커 미러링은 삼중체 훈련에서 모델의 일반화 성능 향상과 과적합 감소에 얼마나 기여하는가?
• RQ5 온라인 커널 유사도 학습은 영상 특징 공간 내 비선형 관계를 효과적으로 모델링하여 관련성 예측에 기여하는가?

주요 결과

• FusedLSTM는 영화 및 TV 시리즈 트랙에서 모두 최고의 성능을 기록하였으며, 테스트 세트에서 CBVRP 기준선 및 OMKS 방법을 모두 초월하였다.
• 영화 테스트 세트에서 FusedLSTM는 소프트맥스 커널을 사용해 히트@50가 0.545, 리콜@50가 0.397을 기록하였으며, 기준선의 0.484 및 0.319를 크게 상회하였다.
• TV 시리즈 테스트 세트에서 FusedLSTM는 소프트맥스 커널을 사용해 히트@50가 0.484, 리콜@50가 0.261을 기록하였으며, 기준선의 0.463 및 0.237를 초월하였다.
• 영화 테스트 세트에서 FusedLSTM는 RBF 커널을 사용해 히트@50가 0.552를 기록하여 고정밀도 검색에서 강력한 일반화 성능을 보였다.
• 델타 특징을 사용한 OMKS는 경쟁적인 성능을 기록하여 영화에서 히트@50가 0.501, TV 시리즈에서 0.493을 기록하였으며, 온라인 커널 학습의 효과성을 입증하였다.
• 제거 분석 결과, FusedLSTM는 모든 지표에서 2층 신경망 및 기준선 방법보다 일관되게 뛰어난 성능을 보였다.