[論文レビュー] Is there a "language of music-video clips" ? A qualitative and quantitative study

Laure Prétet, Gaël Richard+1 more|arXiv (Cornell University)|Aug 2, 2021

Music and Audio Processing参考文献 27被引用数 12

ひとこと要約

本研究では、公式音楽ビデオ（OMV）における音楽と映像の構造的イベントの同期を分析することで、'音楽ビデオクリップの言語'が存在するかを検証する。527本のOMVを対象に、MIRツール（ビート／バー／機能的セグメント検出）とコンピュータビジョン（ショット検出）を用いた定量的分析に加え、質的専門家インタビューを実施。その結果、音楽と映像の同期はジャンルに依存しており、特にポップ、R&B、ダンスジャンルで機能的セグメントおよびダウンビートの境界で強い共起が確認された。

ABSTRACT

Recommending automatically a video given a music or a music given a video has become an important asset for the audiovisual industry - with user-generated or professional content. While both music and video have specific temporal organizations, most current works do not consider those and only focus on globally recommending a media. As a first step toward the improvement of these recommendation systems, we study in this paper the relationship between music and video temporal organization. We do this for the case of official music videos, with a quantitative and a qualitative approach. Our assumption is that the movement in the music are correlated to the ones in the video. To validate this, we first interview a set of internationally recognized music video experts. We then perform a large-scale analysis of official music-video clips (which we manually annotated into video genres) using MIR description tools (downbeats and functional segments estimation) and Computer Vision tools (shot detection). Our study confirms that a "language of music-video clips" exists; i.e. editors favor the co-occurrence of music and video events using strategies such as anticipation. It also highlights that the amount of co-occurrence depends on the music and video genres.

研究の動機と目的

• 公式音楽ビデオ（OMV）における音楽と映像の時間的構造の間には体系的な関係が存在するかを調査すること。
• プロの音楽ビデオ編集者が制作過程でオーディオとビジュアルイベントをどのように同期させているかを理解すること。
• さまざまなジャンルにわたる、音楽の構造的イベント（ビート、バー、機能的セグメント）と映像のショット境界の間の一致度を定量化すること。
• 自動音楽ビデオ推薦および生成システムの改善に役立つデータ駆動型の知見を提供すること。
• ジャンルに特有の音楽ビデオ同期パターンが、より優れたマルチモーダル推薦モデルの構築にどのように活用できるかを検討すること。

提案手法

• 国際的に認められた3名の音楽ビデオ専門家（作曲家、監督、編集者）を対象に、同期実務に関する質的洞察を収集するための深掘りインタビューを実施した。
• Harmonixデータセットに収録された527本の公式音楽ビデオを分析し、手動でジャンル分類を行い、MIRツールを用いてビート、バー、機能的セグメントの検出を実施した。
• コンピュータビジョン技術（TransNetベースのショット検出）を用いて、映像のショット境界を同定した。
• 音楽と映像の構造的境界の共起を測るための同期スコア $ S $ を定義し、機能的セグメント（$ l_{seg} $）とダウンビート（$ l_{bar} $）ごとに別々に計算した。
• 95%信頼区間を伴って、$ S $ をオーディオ境界がビデオ境界によって説明される割合として計算した。
• 音楽および映像ジャンルごとに $ S $ 値を集約・比較し、ジャンル依存の同期パターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 プロの音楽ビデオ編集者は、ビート、バー、または機能的セグメントなどの音楽構造的イベントと一致するように、意図的に映像のショット境界を同期させているのか？
• RQ2 音楽と映像の構造的イベントの同期は、さまざまな音楽および映像ジャンルによってどの程度異なるのか？
• RQ3 公式音楽ビデオにおいて、音楽イベントのタイミングと映像のショット遷移の間に、測定可能で定量的な関係が存在するのか？
• RQ4 音楽セグメントと映像セグメントの持続時間はどの程度相関しているのか？ また、その相関関係はジャンルによって変化するのか？
• RQ5 観察された同期パターンを活用することで、自動音楽ビデオ推薦システムの改善が可能になるのか？

主な発見

• 本研究は、公式音楽ビデオに『音楽ビデオクリップの言語』が存在することを確認した。編集者は、ダウンビートや機能的セグメント境界と一致するように、意図的に映像のショット境界を調整している。
• ポップ音楽では、機能的セグメントの同期スコア $ S(l_{seg}) $ が 0.36 ± 0.02 と最も高く、ショット遷移と機能的セグメント境界の一致が強いことが示された。
• R&B音楽では、ダウンビートの同期スコア $ S(l_{bar}) $ が 0.31 ± 0.03 に達し、ショットチェンジとダウンビートの共起が顕著に確認された。
• ダンス／エレクトロニカ音楽では、セグメント持続時間の相関は高いが、$ S(l_{seg}) $ は 0.18 ± 0.05 にとどまり、持続時間は一致するが境界が常に一致しないことが示された。
• ダンスやコンセプトなどの映像ジャンルでは、$ S(l_{bar}) $ 値がそれぞれ 0.24 および 0.23 と高く、リズミカルなビジュアル効果を得るための意図的なビート同期編集がなされていることがうかがえた。
• パフォーマンスジャンルでは同期が低く（$ S(l_{bar}) = 0.16 $）、リズミカルな編集が少なく、連続的なカメラワークが多いためと推察される。一方、'その他のジャンル'の動画では同期が最小限（$ S = 0.11 $）であり、実験的または非リズミカルな編集スタイルが反映されている。