[논문 리뷰] Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training

Rong Gong, Xavier Serra|arXiv (Cornell University)|2017. 11. 02.

Music and Audio Processing참고 문헌 4인용 수 3

한 줄 요약

이 논문은 성악 수업 실무와 수강생 피드백을 분석하여 잔구(베이징 옛극) 노래 교육을 위한 컴퓨터 지원 학습을 위해 맞춤형 음악정보검색(MIR) 기술을 규명한다. 음정, 리듬, 음량, 톤 퀄리티, 발음의 다섯 가지 음악적 차원의 상대적 중요도를 파악하고, 전통적인 입/심 교육 방식을 데이터 기반 피드백으로 지원하기 위한 타겟 MIR 솔루션을 제안한다.

ABSTRACT

Music Information Retrieval (MIR) technologies have been proven useful in assisting western classical singing training. Jingju (also known as Beijing or Peking opera) singing is different from western singing in terms of most of the perceptual dimensions, and the trainees are taught by using mouth/heart method. In this paper, we first present the training method used in the professional jingju training classroom scenario and show the potential benefits of introducing the MIR technologies into the training process. The main part of this paper dedicates to identify the potential MIR technologies for jingju singing training. To this intent, we answer the question: how the jingju singing tutors and trainees value the importance of each jingju musical dimension-intonation, rhythm, loudness, tone quality and pronunciation? This is done by (i) classifying the classroom singing practices, tutor's verbal feedbacks into these 5 dimensions, (ii) surveying the trainees. Then, with the help of the music signal analysis, a finer inspection on the classroom practice recording examples reveals the detailed elements in the training process. Finally, based on the above analysis, several potential MIR technologies are identified and would be useful for the jingju singing training.

연구 동기 및 목표

• 전문적인 잔구 노래 교육 수업의 구조와 교수법을 분석하기 위해.
• 튜터와 수강생의 관점에서 다섯 가지 잔구 음악적 차원—음정, 리듬, 음량, 톤 퀄리티, 발음—의 상대적 중요도를 평가하기 위해.
• 수업 지침 우선순위와 부합하는 구체적인 음악정보검색(MIR) 기술을 식별하기 위해.
• 전통적인 잔구 성악 교육과 현대 신호처리 기술 간 격차를 메우기 위해 교육 수요를 기술적 해결책과 연결하기 위해.
• 잔구 노래 교육에서 실시간으로 특정 차원에 맞는 피드백을 제공할 수 있는 지능형 시스템 개발의 기초를 마련하기 위해.

제안 방법

• 수업에서의 노래 실천과 튜터의 구두 피드백을 음정, 리듬, 음량, 톤 퀄리티, 발음의 다섯 가지 음악적 차원으로 분류하였다.
• 수강생 대상 설문 조사를 실시하여 각 음악적 차원이 교육에서 얼마나 중요한지 인식하는지 평가하였다.
• 기록된 수업 세션에 대한 세부적인 신호 분석을 수행하여 각 차원과 관련된 특정 성악 요소를 추출하고 검토하였다.
• 식별된 교육 수요를 피치, 타이밍, 다이내믹스, 스펙트럼 에너지, 음소 내용을 분석할 수 있는 기존 MIR 기술과 연결하였다.
• 피치 추적, 온셋 검출, 스펙트럼 중심점 분석, 음소 인식 등의 MIR 기법이 잔구 성악 데이터에 적용 가능한지 타당성을 평가하였다.
• 결과를 종합하여 전통적 수업 목표와 부합하는 실시간 피드백과 강조된 특정 차원을 고려한 잔구 교육에 특화된 MIR 도구 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 잔구 노래 튜터와 수강생은 다섯 가지 핵심 음악적 차원—음정, 리듬, 음량, 톤 퀄리티, 발음—을 교육에서 어떻게 우선순위를 정하는가?
• RQ2 각 음악적 차원 내에서 수업 피드백에서 자주 다루어지는 구체적인 성악 요소는 무엇인가?
• RQ3 어떤 음악정보검색(MIR) 기술이 잔구 성악 차원의 분석과 피드백 제공에 효과적으로 적응될 수 있는가?
• RQ4 MIR 시스템은 어떻게 전통적인 입/심 교육 방식을 보완할 수 있는가?
• RQ5 잔구 노래의 청각적 미세함, 특히 음정 정확도, 리듬 정밀도, 음소 명료도를 포착하는 데 가장 적합한 신호 처리 기법은 무엇인가?

주요 결과

• 튜터와 수강생 모두 음정이 가장 중요한 차원으로 평가하였고, 이어 발음, 리듬, 음량, 톤 퀄리티의 순서였다.
• 튜터들은 음정 정확도와 음소 명료도에 자주 피드백을 제공하여, 이 두 요소가 잔구에서 성악 숙련도의 핵심임을 시사하였다.
• 리듬과 음량은 연주 및 앙상블 상황에서 강조되었으며, 이는 훈련에서 시간과 음량 제어의 필요성을 시사한다.
• 신호 분석 결과, 잔구의 특성 있는 성악 방식과 음역 범위로 인해 피치 추적과 포르망 추적은 실현 가능함을 확인하였다.
• 음소 인식과 스펙트럼 에너지 분석은 발음과 톤 퀄리티 평가에 유망한데, 비서구 음소와 톤 특성으로 인해 여전히 도전 과제가 존재한다.
• MIR 도구의 통합은 실시간으로 특정 차원에 맞는 피드백 제공이 가능하게 하여 전통적인 잔구 교육 방식의 확장성과 일관성을 향상시킬 수 있다.