[論文レビュー] Voices of the Mountains: Deep Learning-Based Vocal Error Detection System for Kurdish Maqams

Darvan Shvan Khairaldeen, Hossein Hassani|arXiv (Cornell University)|Feb 24, 2026

Music and Audio Processing被引用数 0

ひとこと要約

要約: 本論文は、50曲のコーパスとログメルスペクトログラム特徴量を用いて、クルド・バヤティ-クルドのマカム歌唱における vocal エラーを検出・分類するための attention 搭載の二頭CNN–BiLSTMを提案している。検出の Macro-F1 と各クラスの F1 を報告し、微分音高とリズムの強みを強調するとともに、データ不足によるモーダル・ドリフトの課題を指摘している。

ABSTRACT

Maqam, a singing type, is a significant component of Kurdish music. A maqam singer receives training in a traditional face-to-face or through self-training. Automatic Singing Assessment (ASA) uses machine learning (ML) to provide the accuracy of singing styles and can help learners to improve their performance through error detection. Currently, the available ASA tools follow Western music rules. The musical composition requires all notes to stay within their expected pitch range from start to finish. The system fails to detect micro-intervals and pitch bends, so it identifies Kurdish maqam singing as incorrect even though the singer performs according to traditional rules. Kurdish maqam requires recognizing performance errors within microtonal spaces, which is beyond Western equal temperament. This research is the first attempt to address the mentioned gap. While many error types happen during singing, our focus is on pitch, rhythm, and modal stability errors in the context of Bayati-Kurd. We collected 50 songs from 13 vocalists ( 2-3 hours) and annotated 221 error spans (150 fine pitch, 46 rhythm, 25 modal drift). The data was segmented into 15,199 overlapping windows and converted to log-mel spectrograms. We developed a two-headed CNN-BiLSTM with attention mode to decide whether a window contains an error and to classify it based on the chosen errors. Trained for 20 epochs with early stopping at epoch 10, the model reached a validation macro-F1 of 0.468. On the full 50-song evaluation at a 0.750 threshold, recall was 39.4% and precision 25.8% . Within detected windows, type macro-F1 was 0.387, with F1 of 0.492 (fine pitch), 0.536 (rhythm), and 0.133 (modal drift); modal drift recall was 8.0%. The better performance on common error types shows that the method works, while the poor modal-drift recall shows that more data and balancing are needed.

研究の動機と目的

• クルド・マカムの自動歌唱評価（ASA）を動機づけ、微分音の pitch、リズム、モーダル・ドリフトの誤差に対処する。
• 専門家が注釈したエラー区間を含む Bayati-Kurd ボーカル演奏データセットを作成する。
• エラーを検出しそのタイプを分類するための attention 搭載の二頭 CNN–BiLSTM モデルを提案する。
• 全曲セットでモデルを評価し、データ収集とモデル改善のためのフォールトモードを分析する。

提案手法

• 音声を log-mel スペクトログラムに変換する（FFT 1024、ホップ 512、メル bins 128）。
• 局所的なスペクトル-時間パターンと長距離の音楽的文脈を捉えるための attention を備えた CNN–BiLSTM ボトムアップ構造を設計。
• 出力ヘッドを2つ実装する：検出ヘッド（シグモイド）とタイプ分類ヘッド（3クラスのソフトマックス）。
• AdamW で訓練し、不均衡に対処するため重み付きクロスエントロピーと focal loss を使用、データ拡張とハードネガティブ・マイニングを適用。
• ウィンドウを 10秒（1秒間隔）と 3秒（0.5秒間隔）に区切り、中心オーバーラップ規則でウィンドウにラベルを付与；歌ごとに分割してリークを避ける。

実験結果

リサーチクエスチョン

• RQ1 クルド微分音マカム歌唱における vocal エラーを検出し、エラータイプ（細かな pitch、リズム、モーダル・ドリフト）を分類できる深層学習モデルは存在するか。
• RQ2 注意機構を持つ CNN–BiLSTM アーキテクチャは、 Highly imbalanced な小規模データセットのクルド・マカム vocal エラーでどの程度性能を出せるか。
• RQ3 Bayati-Kurd マカムのモーダル・ドリフト検出における課題と限界は何か、データ量が性能にどう影響するか。
• RQ4 モデル出力から pedagogy 支援のためのフィードバックをどのように生成できるか。

主な発見

• 全50曲に対して、検出ヘッドは再現率 39.4%、適合率 25.8%（F1 0.311）を 0.750 阈値で達成。
• 全検出に対するタイプの macro-F1 は 0.387、クラス別 F1 は 0.492（細かな pitch）、0.536（リズム）、0.133（モーダル・ドリフト）。
• 細かな pitch の検出は最も精度が高く（89.5%）、リズムは最も良い F1（0.536）と適切な precision/recall のバランス、モーダル・ドリフトは依然困難（recall 8.0%）。
• データの不均衡とモーダル・ドリフトの例が限られていたことで性能に制約が生じた。
• 豊富な注釈とカスタム Vocal Annotator ツールにより、監督学習に用いられた専門家ラベル付きウィンドウを取得。