[論文レビュー] Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint

Sungeun Hong, Woobin Im+1 more|arXiv (Cornell University)|Apr 22, 2017

Music and Audio Processing参考文献 43被引用数 12

ひとこと要約

本稿では、モダリティ固有の特徴を保持するための新しいソフトイントラモダリティ構造制約と、モダリティ間ランク付け損失を用いた、コンテンツベースのビデオ・ミュージック検索のための深層ニューラルネットワークであるVM-NETを提案する。この手法は、20万件規模の新しいビデオ・ミュージックベンチマークで最先端の性能を達成し、定量的なRecall@Kおよび定性的な人間の好み評価の両面で、先行手法を上回った。

ABSTRACT

Up to now, only limited research has been conducted on cross-modal retrieval of suitable music for a specified video or vice versa. Moreover, much of the existing research relies on metadata such as keywords, tags, or associated description that must be individually produced and attached posterior. This paper introduces a new content-based, cross-modal retrieval method for video and music that is implemented through deep neural networks. We train the network via inter-modal ranking loss such that videos and music with similar semantics end up close together in the embedding space. However, if only the inter-modal ranking constraint is used for embedding, modality-specific characteristics can be lost. To address this problem, we propose a novel soft intra-modal structure loss that leverages the relative distance relationship between intra-modal samples before embedding. We also introduce reasonable quantitative and qualitative experimental protocols to solve the lack of standard protocols for less-mature video-music related tasks. Finally, we construct a large-scale 200K video-music pair benchmark. All the datasets and source code can be found in our online repository (https://github.com/csehong/VM-NET).

研究の動機と目的

• ビデオと音楽の間でメタデータに依存しないコンテンツベースのクロスマダリティ検索手法の不足に対処すること。
• モダリティ間ランク付け損失のみを用いる場合に生じる、音楽のリズムやビデオのテクスチャといったモダリティ固有の特徴の損失を克服すること。
• このようなデータセットが不足していることから、大規模かつ公開可能なビデオ・ミュージック検索ベンチマークを確立すること。
• 現在、確立されたベンチマークが存在しないコンテンツベースのビデオ・ミュージック検索（CBVMR）のための標準化された定量的および定性的な評価プロトコルを構築すること。
• メタデータではなく、生のコンテンツのみを用いて、ビデオに適した音楽や逆に音楽に適したビデオを双方向に検索できること。

提案手法

• ビデオフレームと音声信号を共有された埋め込み空間に埋め込むための2本のブランチからなる深層ニューラルネットワーク（VM-NET）を提案する。
• 埋め込み空間内で意味的に類似したビデオ・ミュージックペアが近くなるように、モダリティ間ランク付け損失を用いてネットワークを訓練する。
• 埋め込みの前段階で、各モダリティ内におけるサンプル間の相対的距離関係を保持するためのソフトイントラモダリティ構造損失を導入する。
• ソフトインフラモダリティ損失は、真のインフラモダリティペアを必要としないため、弱教師あり設定にも適用可能である。
• 同じ動画からの音声と視覚的セグメントを正例ペアとして扱うことで、既存の音楽ビデオを活用し、合計200,500組のビデオ・ミュージックペアを構築する。
• 検索品質の検証に、定量的なRecall@Kと、新しい人間の好み評価を組み合わせて用いる。

実験結果

リサーチクエスチョン

• RQ1 メタデータに依存せず、コンテンツのみを用いて深層ニューラルネットワークがビデオと音楽の間で意味的整合性を効果的に学習できるか？
• RQ2 ソフトインフラモダリティ構造損失を組み込むことで、リズムやテクスチャといったモダリティ固有の特徴を保持でき、検索性能が向上するか？
• RQ3 本手法は、既存のアプローチと比較して、大規模で現実世界のビデオ・ミュージックベンチマーク上でどの程度効果的か？
• RQ4 人間の被験者がモデルが検索した結果をランダムなマッチや真値マッチよりも好む割合はどれくらいか？ これは、実世界での関連性を示す。
• RQ5 モデルは公式の音楽ビデオにとどまらず、ユーザー生成コンテンツやパロディ動画に対しても一般化できるか？

主な発見

• 提案されたソフトインフラモダリティ構造損失は、音楽のリズムやビデオのテクスチャといったモダリティ固有の特徴を保持することで、検索性能を顕著に向上させた。
• 新規のHIMV-200Kベンチマーク上、VM-NETはRecall@Kにおいて最先端の性能を達成し、今後のCBVMR研究の定量的ベースラインを確立した。
• 人間の好み評価では、80%の被験者がランダムマッチよりも真値マッチを好んだため、データセットとモデルの品質が妥当であることが裏付けられた。
• 被験者の70%が、モデルの検索結果（S）をランダムマッチ（R）よりも好んだため、モデルが人間が受け入れられる高品質な結果を生成していることが示された。
• モデルは公式の音楽ビデオにとどまらず、ユーザー生成やパロディ動画に対しても良好に一般化し、関連するコンテンツを効果的に検索できた。
• 機械が真値マッチをランダムマッチよりも好む傾向（G > R）は、人間の性能とよく一致しており、埋め込み空間が人間の認識とよく一致していることが示唆された。