[論文レビュー] DLR : Toward a deep learned rhythmic representation for music content analysis

Yeonwoo Jeong, Keunwoo Choi+1 more|arXiv (Cornell University)|Dec 14, 2017

Music and Audio Processing参考文献 20被引用数 6

ひとこと要約

本稿では、複数の拡張率を有する1次元の拡張畳み込みを用いてリズムパターンを捉える、生音声からのコン act でエンドツーエンドに学習される表現であるDLR（Deep Learned Rhythmic representation）を提案する。リズムおよびテンポ関連の代理タスクで訓練されたDLRは、音楽タグ付けタスクにおいてメルスペクトログラムと同等の性能を達成し、テンポグラムを著しく上回る。これは、音楽コンテンツ分析におけるリズム的コンテンツを捉える効率性と有効性を示している。

ABSTRACT

In the use of deep neural networks, it is crucial to provide appropriate input representations for the network to learn from. In this paper, we propose an approach to learn a representation that focus on rhythmic representation which is named as DLR (Deep Learning Rhythmic representation). The proposed approach aims to learn DLR from the raw audio signal and use it for other music informatics tasks. A 1-dimensional convolutional network is utilised in the learning of DLR. In the experiment, we present the results from the source task and the target task as well as visualisations of DLRs. The results reveals that DLR provides compact rhythmic information which can be used on multi-tagging task.

研究の動機と目的

• 生の音声から直接学習可能な、コンパクトでデータ駆動型のリズム表現を開発し、手作業で作成された特徴量よりも効率的に音楽の時間的パターンを捉えること。
• 音楽コンテンツ分析におけるディープラーニングにおける表現の効率性と情報の豊かさのトレードオフを解消すること。
• 2次元の時間周波数表現に依存せずに、生音声から直接転送可能なリズム表現を学習すること。
• 下流の音楽タグ付けタスクにおける学習表現の有効性を評価すること。
• DLRが、Melスペクトログラムのような既存の表現と組み合わせてマルチタスク学習で補完的役割を果たすかどうかを調査すること。

提案手法

• 複数の拡張率（例：1, 2, 4）を有する1次元の拡張畳み込みネットワークを生音声で訓練し、異なる時間スケールでのリズムパターンを捉える。
• 並列な拡張畳み込みからの特徴マップを連結し、時間軸に沿って平均プーリングを適用することで、コンパクトなDLR表現を生成する。
• 下流タスク（例：音楽タグ付け）の入力表現として、DLRを転送可能な表現として使用する。
• ターゲットの音楽タグ付けタスクのために、メルスペクトログラムを入力として使用する5層の2次元畳み込みネットワークを訓練するが、DLRを代替入力として使用する。
• リズムとテンポに焦点を当てた代理タスクを最適化することで、リズム特徴のエンドツーエンド学習を可能にする。
• DLRとメルスペクトログラムをマルチインプット設定で組み合わせ、補完的情報の獲得を評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、生音声から直接コンパクトで効果的なリズム表現を学習できるか？
• RQ2 DLRの性能は、音楽タグ付けタスクにおける従来のリズム表現（例：テンポグラム）と比べてどうか？
• RQ3 DLRは、特にマルチラベルタグ付けを含む下流の音楽コンテンツ分析タスクに効果的に転送可能か？
• RQ4 マルチモodalな入力設定でDLRとメルスペクトログラムを組み合わせた場合、補完的情報を提供するか？
• RQ5 1次元畳み込みネットワークにおける異なる拡張率は、短時間および長時間のリズムパターンを捉えるのにどのように寄与するか？

主な発見

• DLRは音楽タグ付けタスクにおいて、メルスペクトログラムとAUCスコアが0.0161–0.0196の範囲内で一致しており、そのコンパクトさにもかかわらず優れた性能を示している。
• DLRはテンポグラム表現を著しく上回り、AUCスコアで0.0873–0.0908の改善を達成しているが、サイズはテンポグラムの半分である。
• メルスペクトログラムと組み合わせた場合、DLRはAUCスコアで0.0005–0.0016のわずかな性能向上をもたらし、補完的情報が存在することは確認されたが限定的である。
• 可視化結果から、低拡張率のDLRはジャンルを問わず類似した局所的パターンを学習している一方、高拡張率のDLRは多様で長期的なリズム構造を示しており、ジャンルの区別に有効である。
• DLRを入力として使用したネットワークは、メルスペクトログラムを使用したネットワークとほぼ同等の性能を発揮しており、DLRが単独の入力表現としての有効性を確認している。
• 結果から、DLRは冗長性を伴わず、リズム的コンテンツを効率的に捉えていることが示唆され、音楽情報検索におけるコンパクトで転送可能な表現としての役割を果たすことが支持される。