[論文レビュー] Carnatic Raga Identification System using Rigorous Time-Delay Neural Network

Sanjay Natesan, Homayoon Beigi|arXiv (Cornell University)|Jan 1, 2024

Remote Sensing and Land Use被引用数 2

ひとこと要約

本稿では、スリュートの変動に耐性を持つように最適化されたアテンション機構を備えたハイブリッド時遅延ニューラルネットワーク（TDNN）と長期・短期記憶（LSTM）アーキテクチャを用いた、カーナティック・ラーガ識別用のディーブラーニングシステムを提案する。このモデルは、172のラーガにまたがる676件の録音データセットで95.31％の検証精度を達成し、規模と複雑さの面で従来の研究を著しく拡張している。

ABSTRACT

Large scale machine learning-based Raga identification continues to be a nontrivial issue in the computational aspects behind Carnatic music. Each raga consists of many unique and intrinsic melodic patterns that can be used to easily identify them from others. These ragas can also then be used to cluster songs within the same raga, as well as identify songs in other closely related ragas. In this case, the input sound is analyzed using a combination of steps including using a Discrete Fourier transformation and using Triangular Filtering to create custom bins of possible notes, extracting features from the presence of particular notes or lack thereof. Using a combination of Neural Networks including 1D Convolutional Neural Networks conventionally known as Time-Delay Neural Networks) and Long Short-Term Memory (LSTM), which are a form of Recurrent Neural Networks, the backbone of the classification strategy to build the model can be created. In addition, to help with variations in shruti, a long-time attention-based mechanism will be implemented to determine the relative changes in frequency rather than the absolute differences. This will provide a much more meaningful data point when training audio clips in different shrutis. To evaluate the accuracy of the classifier, a dataset of 676 recordings is used. The songs are distributed across the list of ragas. The goal of this program is to be able to effectively and efficiently label a much wider range of audio clips in more shrutis, ragas, and with more background noise.

研究の動機と目的

• 多様なラーガ、スリュート、パフォーマンススタイルにわたるカーナティック・ラーガを識別するスケーラブルで高精度な機械学習システムの開発。
• 絶対周波数値ではなく相対周波数シフトをモデル化することで、ラーガ認識におけるスリュート変動の課題に取り組む。
• 72メラカルタ・ラーガにとどまらず、ジャンヤ・ラーガやより広範な音楽的サンプルを含む、既存のラーガ認識システムの拡張。
• 高度な特徴抽出とアテンション機構を活用し、ノイズ混じりや多様な音声条件でも一般化性と耐性を向上。
• カーナティック音楽における大規模な音楽情報検索に適した計算効率が良く、高精度なモデルの構築。

提案手法

• 音声信号から局所的なメロディックパターンを抽出するために、1次元畳み込みニューラルネットワーク（TDNN）を用いる。
• スペクトル特徴は離散フーリエ変換（DFT）と三角フィルターバンクを用いて、人間の知覚に即した周波数帯域をモデル化する。
• LSTMネットワークが時系列パターンを処理し、メロディックなコントゥールやガマーカ効果の時間的依存性をモデル化する。
• アテンションに基づく機構により、相対周波数シフトに注目することで、パフォーマンス間のスリュート変動に対する耐性が向上する。
• カテゴリカル・クロスエントロピー損失を用い、Adam最適化法と早期停止法を適用して過学習を防ぐ。
• データ前処理には正規化とオーグメンテーションを含め、多様な音声条件での一般化性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたハイブリッドTDNN-LSTMモデルは、ジャンヤ・ラーガを含む広範なカーナティック・ラーガの識別において高い正確性を達成できるか？
• RQ2 絶対周波数ではなく相対周波数シフトをモデル化することで、ラーガ認識におけるスリュート変動への耐性がどのように向上するか？
• RQ3 標準の72メラカルタ・ラーガを超えるラーガ、特に各ラーガの訓練データが限られている状況において、深層学習モデルがどれほど一般化できるか？
• RQ4 ガマーカパターンの組み込みが、エンドツーエンドのラーガ分類モデルの性能にどのように影響するか？
• RQ5 データセットのサイズと多様性が、ラーガ識別タスクにおけるモデルの一般化性と正確性に与える影響は何か？

主な発見

• 本モデルは、172の異なるラーガ（メラカルタおよびジャンヤ・ラーガを含む）にまたがる676件の録音データセットで、検証精度95.31％を達成した。
• 学習プロセスは効率的に収束し、検証損失の変化が止まったため、132エポックで早期停止が発動した。これは効果的な正則化を示している。
• 検証損失は0.3544であり、初期損失より顕著に低く、高複雑性とデータセットの多様性にもかかわらず、学習が効果的に行われたことを示している。
• 学習精度は99.57％に達し、検証精度との差は4.26％にとどまっている。これは、多数のクラスと複雑なパターンにもかかわらず、過学習がほとんどないことを示している。
• 本システムは、多くの既存研究の200倍以上も大きなデータセットを用いているにもかかわらず、以前の最先端手法を上回るか同等の性能を発揮した。
• アテンション機構は相対ピッチ変動を効果的に捉え、パフォーマンス間のスリュート差異に対する耐性を高めた。