[論文レビュー] Visual Display and Retrieval of Music Information

Rafael Valle|arXiv (Cornell University)|Jul 26, 2018

Music and Audio Processing参考文献 21被引用数 3

ひとこと要約

本稿では、スペクトログ램、MFCC、CQT、クロマグラムなどの音声記述子と、自己相関行列やt-SNE投影などのデータ可視化技術を組み合わせることで、音楽情報の可視化および検索を実現する計算手法を提示する。これらのツールが、音楽的構造、トーン、類似性に関する体系的で定量的な分析を可能にし、音楽学的研究およびSpotify や Gracenote などの産業分野における音楽情報検索（MIR）の応用を支援することを示している。

ABSTRACT

This paper describes computational methods for the visual display and analysis of music information. We provide a concise description of software, music descriptors and data visualization techniques commonly used in music information retrieval. Finally, we provide use cases where the described software, descriptors and visualizations are showcased.

研究の動機と目的

• 音声および記号的データからの音楽情報の可視化および検索のための計算手法を開発・実証すること。
• 音楽学者と計算音楽学の間の溝を埋めるために、アクセス可能なツールと記述子を提供すること。
• 可視化が音楽分析におけるアノテーション品質の向上と人的労働の削減にどのように寄与するかを示すこと。
• 特徴抽出と次元削減を用いて、音楽的構造、トーン、類似性の体系的で定量的な分析を可能にすること。
• Spotify や Gracenote における音楽研究および産業分野でのMIR技術の実用的応用を提示すること。

提案手法

• 音声信号からのトーン的特徴抽出に、短時間フーリエ変換（STFT）およびメル周波数ケプストラム係数（MFCC）を用いる。
• オクターブ不変のピッチクラス表現を用いて、ピッチコンテンツを表すために定常Q変換（CQT）とクロマ特徴量を適用する。
• フレーム単位の類似度を距離関数を用いて測定することで、自己相関行列を用いて音楽の構造的パターンを検出する。
• t-SNE やMDS などの次元削減技術を活用し、高次元の特徴フレームを2次元の視覚的空間に投影して類似性分析を実施する。
• CQT 特徴量を色チャンネルにマッピングすることで、RGB カラースペースに特徴量の投影を可視化し、時間的および知覚的解釈を可能にする。
• ユークリッド距離や相関係数などの特徴ベースの距離測定法を用いて、音楽的エンティティ間の類似性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 MFCC、CQT、クロマといった音声記述子は、どのように音楽的トーンやピッチ構造を表現・分析するのに用いられるか？
• RQ2 スペクトログラム、自己相関行列、t-SNE 投影といった可視化技術は、音楽情報検索をどのように向上させるか？
• RQ3 データ可視化は、クラウドソーシング環境における音楽アノテーションの正確性と効率性をどのように向上させるか？
• RQ4 計算手法は、人間の知覚と整合する形で、音楽の類似性をどの程度定量的に評価できるか？
• RQ5 t-SNE などの次元削減技術は、大規模な音楽データセットにおけるスタイルのグループ化をどのように明らかにするか？

主な発見

• スペクトログラムの可視化は、アノテーター間の合意度を著しく向上させるとともに、音楽アノテーション作業の所要時間と人的労働を削減する。
• MFCC および CQT 特徴量は、人間の聴覚的知覚に類似した、知覚的に重要なトーン的側面を効果的に捉えている。
• ビートに同期させたCQT 特徴量から計算された自己相関行列は、グリセーの『Partiels』のような複雑な音楽的作品において、構造的パターンを的確に抽出した。
• 数千曲の楽曲から得られた特徴フレームのt-SNE 投影は、ハードコアパンクとアンビエントといった音楽スタイルを明確に分離しており、点間距離が知覚的類似性を反映している。
• CQT 特徴量を3次元RGB空間にマッピングすることで、時間的進行と特徴量の類似性に関する直感的な視覚的解釈が可能になった。
• ダイナミクスの異なるピッチプロファイルを比較する際、相関係数はユークリッド距離よりも知覚的類似性をより効果的に捉えている。