[論文レビュー] Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis

Alexander Schindler|arXiv (Cornell University)|Feb 1, 2020

Music and Audio Processing参考文献 274被引用数 7

ひとこと要約

本論文では、音声ベースの音楽情報検索（MIR）に、音楽ビデオからの視覚的特徴を組み合わせることで、ジャンル分類やムード認識などのタスクを向上させることを提案する。リズミカルなパターンを捉える新規の視覚的特徴を導入し、深層学習を用いて高レベルの概念検出を実現することで、音声と視覚の統合モデルが音声のみのベースライン比で最大16.43%の性能向上を達成した。これは、音楽関連の視覚的言語が存在することを裏付ける。

ABSTRACT

This thesis combines audio-analysis with computer vision to approach Music Information Retrieval (MIR) tasks from a multi-modal perspective. This thesis focuses on the information provided by the visual layer of music videos and how it can be harnessed to augment and improve tasks of the MIR research domain. The main hypothesis of this work is based on the observation that certain expressive categories such as genre or theme can be recognized on the basis of the visual content alone, without the sound being heard. This leads to the hypothesis that there exists a visual language that is used to express mood or genre. In a further consequence it can be concluded that this visual information is music related and thus should be beneficial for the corresponding MIR tasks such as music genre classification or mood recognition. A series of comprehensive experiments and evaluations are conducted which are focused on the extraction of visual information and its application in different MIR tasks. A custom dataset is created, suitable to develop and test visual features which are able to represent music related information. Evaluations range from low-level visual features to high-level concepts retrieved by means of Deep Convolutional Neural Networks. Additionally, new visual features are introduced capturing rhythmic visual patterns. In all of these experiments the audio-based results serve as benchmark for the visual and audio-visual approaches. The experiments are conducted for three MIR tasks Artist Identification, Music Genre Classification and Cross-Genre Classification. Experiments show that an audio-visual approach harnessing high-level semantic information gained from visual concept detection, outperforms audio-only genre-classification accuracy by 16.43%.

研究の動機と目的

• 音楽ビデオの視覚的コンテンツが音声とは独立して、ジャンルやムードといった音楽関連の情報を伝えることができるかどうかを調査すること。
• MIRタスクに適した音楽関連の意味を表現できる視覚的特徴を開発・評価すること。
• 視覚的特徴の抽出と評価を可能にするために、独自のデータセットを構築すること。
• 視覚的ステレオタイプ（例：カントリー音楽におけるカウボーイハット）が体系的かつ検出可能であるかどうかを検証すること。
• 音声と視覚の統合が、音声のみのベースラインを上回る性能向上をMIRタスクで達成できることを実証すること。

提案手法

• 音楽学および音楽心理学分野の文献レビューを実施し、音楽ビデオやアルバムアートにおける視覚的ブランディングの歴史的・産業的利用状況を分析した。
• 視覚的特徴抽出手法のトレーニングと評価を可能にするために、独自の音楽ビデオデータセットを構築した。
• 低レベルの視覚的特徴（例：色、テクスチャ）および高レベルの意味的コンセプトを、深層畳み込みニューラルネットワーク（DCNNs）を用いて抽出した。
• 音楽ビデオ内のリズミカルな視覚的パターンを捉えるために、特に設計された新規の視覚的特徴を導入した。
• アーティスト識別、音楽ジャンル分類、クロスジャンル分類の3つのMIRタスクにおいて、視覚的および音声と視覚の統合モデルを音声のみのベースラインと比較評価した。
• 音声のみのモデルとのベンチマーク比較を通じて、視覚モodalの統合による性能向上を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 音楽ビデオの視覚的コンテンツのみが、音声が存在しない状況でもジャンルやムードといった音楽関連の情報を伝えることができるか？
• RQ2 視覚的ステレオタイプ（例：カントリー音楽におけるカウボーイハット）は、音楽ジャンルとどの程度相関しており、自動分析によって検出可能か？
• RQ3 特にリズミカルな視覚的パターンを捉えるように設計された新規の視覚的特徴は、音楽関連の意味をどの程度効果的に表現できるか？
• RQ4 音声と視覚の特徴を統合することで、音声のみのアプローチに比べてMIRタスクの性能がどの程度向上するか？
• RQ5 高レベルの視覚的コンセプト検出は、音声ベースのMIRシステムをどの程度向上させることができ、その向上幅はどれくらいか？

主な発見

• 本研究では、アメリカン・カントリー音楽におけるカウボーイハットといった視覚的ステレオタイプが体系的に使用されており、自動分析によって検出可能であることが確認された。
• 視覚的特徴のみで音楽関連の情報を捉えることができ、音楽関連の視覚的言語が存在するという仮説を支持する。
• リズミカルな視覚的パターンを捉えるように設計された本研究で提案する視覚的特徴は、動画コンテンツ内の音楽関連の意味を効果的に表現している。
• 音声と視覚の統合モデルは、評価されたすべてのMIRタスクで、音声のみのベースラインを一貫して上回った。
• 最良の音声と視覚の統合手法では、ジャンル分類タスクにおいて音声のみのベースライン比で最大16.43%の性能向上を達成した。
• 高レベルの視覚的コンセプト検出はMIRの性能を顕著に向上させ、マルチモーダルシステムにおける意味的視覚情報の価値を示した。