[論文レビュー] Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training

Rong Gong, Xavier Serra|arXiv (Cornell University)|Nov 2, 2017

Music and Audio Processing参考文献 4被引用数 3

ひとこと要約

この論文は、教室実践と受講生のフィードバックを分析することで、京劇（ペキンオペラ）の歌唱におけるコンピュータ支援学習に特化した音楽情報検索（MIR）技術を同定する。5つの音楽的次元（チューニング、リズム、音量、トーン・クオリティ、発音）の相対的な重要性を特定し、伝統的な口頭/心の教育法をデータドリブンなフィードバックで補完するための的確なMIRソリューションを提案する。

ABSTRACT

Music Information Retrieval (MIR) technologies have been proven useful in assisting western classical singing training. Jingju (also known as Beijing or Peking opera) singing is different from western singing in terms of most of the perceptual dimensions, and the trainees are taught by using mouth/heart method. In this paper, we first present the training method used in the professional jingju training classroom scenario and show the potential benefits of introducing the MIR technologies into the training process. The main part of this paper dedicates to identify the potential MIR technologies for jingju singing training. To this intent, we answer the question: how the jingju singing tutors and trainees value the importance of each jingju musical dimension-intonation, rhythm, loudness, tone quality and pronunciation? This is done by (i) classifying the classroom singing practices, tutor's verbal feedbacks into these 5 dimensions, (ii) surveying the trainees. Then, with the help of the music signal analysis, a finer inspection on the classroom practice recording examples reveals the detailed elements in the training process. Finally, based on the above analysis, several potential MIR technologies are identified and would be useful for the jingju singing training.

研究の動機と目的

• プロフェッショナルな京劇の歌唱訓練の教室構造と教育的実践を分析すること。
• チューナーと受講生の視点から、京劇の5つの音楽的次元（チューニング、リズム、音量、トーン・クオリティ、発音）の相対的な重要性を評価すること。
• 教育的優先順位に合致する具体的な音楽情報検索（MIR）技術を同定し、京劇の歌唱訓練を支援すること。
• 伝統的な京劇の声楽教育と現代の信号処理の間のギャップを埋めるために、訓練のニーズを技術的ソリューションにマッピングすること。
• 京劇の歌唱教育において、リアルタイムで次元別フィードバックを提供する知能的なシステムの基盤を提供すること。

提案手法

• 教室での歌唱実践とチューナーの口頭フィードバックを、5つの音楽的次元（チューニング、リズム、音量、トーン・クオリティ、発音）に分類した。
• 受講生を対象にアンケート調査を実施し、各音楽的次元が訓練においてどれほど重要であると感じられているかを評価した。
• 記録された教室セッションを詳細に信号分析し、各次元に関連する具体的な声の要素を抽出・検査した。
• 特定された訓練のニーズを、ピッチ、タイミング、ダイナミクス、スペクトルエンVELOPE、発音内容を分析できる既存のMIR技術にマッピングした。
• ピッチ追跡、オントセット検出、スペクトルセンタロイド分析、発音子認識などのMIR技術が京劇の声データに適用可能かどうかを評価した。
• 研究結果を統合し、伝統的な教育目標と整合性を持つリアルタイムのフィードバックを重視した、京劇教育に特化したMIRツールのフレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 京劇の歌唱チューナーと受講生は、5つのコアな音楽的次元（チューニング、リズム、音量、トーン・クオリティ、発音）を訓練においてどのように優先しているか？
• RQ2 各音楽的次元内で、教室のフィードバックで最も頻繁に取り上げられている具体的な声の要素は何か？
• RQ3 どの音楽情報検索（MIR）技術が、京劇の声の次元を分析し、フィードバックを提供するために効果的に適応可能か？
• RQ4 MIRシステムは、京劇の訓練における伝統的な口頭/心の教育法をどのように補完できるか？
• RQ5 ピッチの正確さ、リズムの正確さ、発音の明瞭さの観点から、京劇の歌唱の知覚的ニュアンスを捉えるために、どの信号処理技術が最も適しているか？

主な発見

• チューナーと受講生の両方から、チューニングが最も重要な次元と評価され、次いで発音、リズム、音量、トーン・クオリティの順に重要視された。
• チューナーはピッチの正確さと発音の明瞭さについて頻繁にフィードバックを提供しており、これらが京劇における声の熟達の中心的要素であることが示された。
• アンサンブルやパフォーマンスの文脈ではリズムと音量が強調されており、訓練においてタイミングとダイナミクスの制御が求められていることが示唆された。
• 信号解析の結果、京劇の特徴的な声の発声法と音域の特性から、ピッチ追跡とフォルマント追跡が京劇に適用可能であることが判明した。
• 発音子認識とスペクトルエンVELOPE分析は、発音とトーン・クオリティの評価に有望であるが、非西洋的な発音とトーン特性のため、課題が残っている。
• MIRツールの統合により、リアルタイムで次元別フィードバックを提供可能となり、伝統的な京劇の訓練方法のスケーラビリティと一貫性が向上する可能性がある。