[論文レビュー] FusedLSTM: Fusing frame-level and video-level features for Content-based Video Relevance Prediction

Yash Bhalgat|arXiv (Cornell University)|Sep 28, 2018

Video Analysis and Summarization被引用数 4

ひとこと要約

本論文では、FusedLSTMと呼ばれる深層学習モデルを提案する。このモデルは、LSTMと全結合層を用いて、フレームレベルのInception-pool3とビデオレベルのC3D-pool5特徴量を統合し、動画の関連性を予測する。三重損失の最小化とオンラインカーネル類似度学習を用いることで、ACMMM-2018 CBVRPチャレンジにおいて、映画およびテレビドラマの両トラックでベースライン手法およびOMKS手法を上回る最先端の性能を達成した。

ABSTRACT

This paper describes two of my best performing approaches on the Content-based Video Relevance Prediction challenge. In the FusedLSTM based approach, the inception-pool3 and the C3D-pool5 features are combined using an LSTM and a dense layer to form embeddings with the objective to minimize the triplet loss function. In the second approach, an Online Kernel Similarity Learning method is proposed to learn a non-linear similarity measure to adhere the relevance training data. The last section gives a complete comparison of all the approaches implemented during this challenge, including the one presented in the baseline paper.

研究の動機と目的

• ユーザー行動データに依存せずに、コンテンツベースの関連性予測を可能にすることで、動画推薦におけるコールドスタート問題に対処すること。
• 深層ニューラルネットワークを用いて、フレームレベルおよびビデオレベルのマルチレベル特徴量を統合することで、動画関連性予測の性能を向上させること。
• 三重損失を最小化することで、関連する動画が埋め込み空間においてより近くなるように、強力な動画埋め込みを学習すること。
• 非線形類似度学習をオンラインカーネル手法を用いて行い、一般化性能を向上させるとともに過学習を回避すること。
• FusedLSTMやカーネルベースの手法を含む複数のアーキテクチャを、実世界の動画検索ベンチマーク上で評価・比較すること。

提案手法

• FusedLSTMは、LSTMを介してフレームレベルのInception-pool3とビデオレベルのC3D-pool5特徴量を統合し、その後に全結合層を適用して統合埋め込みを生成する。
• モデルは三重損失を用いて訓練され、アーキテクチャとポジティブな動画間の類似度が、ネガティブな動画との類似度よりもマージン分高いように制約される。
• 三重損失の目的関数において、埋め込み間のペアワイズ類似度を計算するために、コサイン、RBF、ソフトマックスの3種類のカーネルが使用される。
• 埋め込みノルムの爆発を防ぐために、三重損失関数にL2正則化が適用される。
• アンカーポイントのミラーリングを用いて、トリプレットの再順序付けによりトレーニングデータの多様性を向上させ、繰り返し使用されるアンカーポイントに起因する過学習を低減する。
• 非線形類似度関数を動画特徴量からオンラインで学習する手法として、オンラインカーネル類似度学習法（OMKS）も提案される。

実験結果

リサーチクエスチョン

• RQ1 LSTMを介してフレームレベルとビデオレベルの特徴量を統合することで、動画関連性予測の性能が向上するか？
• RQ2 複数の類似度カーネルを用いた三重損失を用いることで、動画検索における一般化性能が向上するか？
• RQ3 FusedLSTMアーキテクチャは、ヒット@kおよびリCALL@k指標において、ベースラインおよびOMKS手法と比較してどのように差をつけるか？
• RQ4 アンカーミラーリングは、三重損失学習におけるモデルの一般化性能を向上させ、過学習を低減する効果をどの程度持つか？
• RQ5 オンラインカーネル類似度学習は、関連性予測のための動画特徴空間における非線形関係を効果的にモデル化できるか？

主な発見

• FusedLSTMは、映画およびテレビドラマの両トラックで最高の性能を達成し、テストセットにおいてCBVRPベースラインおよびOMKS手法を上回った。
• 映画のテストセットでは、FusedLSTMにソフトマックスカーネルを適用した場合、ヒット@50が0.545、リCALL@50が0.397を記録し、ベースラインの0.484および0.319を顕著に上回った。
• テレビドラマのテストセットでは、FusedLSTMにソフトマックスカーネルを適用した場合、ヒット@50が0.484、リCALL@50が0.261を記録し、ベースラインの0.463および0.237を上回った。
• RBFカーネルを用いたFusedLSTMは、映画のテストセットでヒット@50が0.552を達成し、高精度な検索における優れた一般化性能を示した。
• OMKSにデルタ特徴量を適用した場合、映画でヒット@50が0.501、テレビドラマで0.493を記録し、オンラインカーネル学習の有効性を示した。
• アブレーションスタディの結果、FusedLSTMは、2層ニューラルネットワークやベースライン手法よりも、すべての指標で一貫して優れた性能を示した。