[논문 리뷰] A Non Linear Approach towards Automated Emotion Analysis in Hindustani Music

Shankha Sanyal, Archi Banerjee외 3명|arXiv (Cornell University)|2016. 12. 01.

Music and Audio Processing참고 문헌 3인용 수 3

한 줄 요약

이 연구는 힌두스탄 고전 음악의 알라프 구간에서 정서적 내용을 탐지하기 위해 다중분포적 추적 분석(Multifractal Detrended Fluctuation Analysis, MFDFA)을 사용한 비선형 다중분포적 분석을 제안한다. 6개 라가, 3개 악기에서 연주한 3분 분량의 알라프 연주를 분석함으로써, 정서적 맛과 관련된 뚜렷한 다중분포적 서명을 드러내었으며, 복잡한 음악 전통에서 비선형 동역학이 정서적 신호를 효과적으로 구분할 수 있음을 보여주었다.

ABSTRACT

In North Indian Classical Music, raga forms the basic structure over which individual improvisations is performed by an artist based on his/her creativity. The Alap is the opening section of a typical Hindustani Music (HM) performance, where the raga is introduced and the paths of its development are revealed using all the notes used in that particular raga and allowed transitions between them with proper distribution over time. In India, corresponding to each raga, several emotional flavors are listed, namely erotic love, pathetic, devotional, comic, horrific, repugnant, heroic, fantastic, furious, peaceful. The detection of emotional cues from Hindustani Classical music is a demanding task due to the inherent ambiguity present in the different ragas, which makes it difficult to identify any particular emotion from a certain raga. In this study we took the help of a high resolution mathematical microscope (MFDFA or Multifractal Detrended Fluctuation Analysis) to procure information about the inherent complexities and time series fluctuations that constitute an acoustic signal. With the help of this technique, 3 min alap portion of six conventional ragas of Hindustani classical music namely, Darbari Kanada, Yaman, Mian ki Malhar, Durga, Jay Jayanti and Hamswadhani played in three different musical instruments were analyzed. The results are discussed in detail.

연구 동기 및 목표

• 힌두스탄 고전 음악에서 라가가 여러 정서 맛을 지닌다는 점을 감안할 때, 자동 정서 탐지의 과제를 해결하기 위해.
• 특히 알라프 구간에서 비선형 동역학이 정서 정보를 담고 있는지 조사하기 위해.
• 정서 분류를 위한 음악적 시계열의 복잡성 측정을 위해 MFDFA를 활용한 다중분포적 접근법을 개발하고 검증하기 위해.
• 악기별 연주 방식의 차이가 라가의 정서 표현 다중분포적 서명에 영향을 미치는지 조사하기 위해.

제안 방법

• 6개 힌두스탄 라가의 3분 분량 알라프 녹음에서 다중분포적 특성을 추출하기 위해 다중분포적 추적 분석(Multifractal Detrended Fluctuation Analysis, MFDFA)을 적용하였다.
• 선택된 라가는 다르바르 칸다, 야만, 미안 키 말라르, 두르가, 자야 자얀티, 함스와드하니이며, 각각 3개의 다른 악기에서 연주되었다.
• 일관성을 확보하기 위해 오디오 신호를 사전 처리하고, 장거리 상관관계와 다중분포적 스케일링 행동을 정량화하기 위해 MFDFA를 적용하였다.
• 신호 복잡성과 정서적 내용을 주요 기술자로 삼아, 특이성 스펙트럼과 다중분포적 폭(Δα)을 계산하였다.
• 다른 라가와 악기 간의 다중분포적 프로파일을 비교하여 특정 정서 맛과 관련된 패턴을 식별하였다.
• MFDFA 결과의 시각적 및 통계적 분석을 통해 신호 복잡성과 라가의 전통적 정서 연관성 간의 상관관계를 규명하였다.

실험 결과

연구 질문

• RQ1 힌두스탄 음악 알라프 구간의 다중분포적 분석이 특정 정서 맛과 대응되는 구분 가능한 패턴을 드러낼 수 있는가?
• RQ2 다른 라가와 악기 간에 음악적 신호의 다중분포적 특성은 어떻게 달라지는가?
• RQ3 음악적 신호의 비선형 동역학이 전통적으로 라가와 연관된 정서적 내용을 어느 정도 반영하는가?
• RQ4 특이성 스펙트럼의 폭과 라가 연주에서의 정서적 복잡성 간에 일관된 관계가 존재하는가?

주요 결과

• 다중분포적 폭(Δα)은 서로 다른 라가 간에 뚜렷한 차이를 보이며, 정서 표현과 관련된 뚜렷한 수준의 신호 복잡성을 나타내었다.
• 다르바르 칸다와 두르가와 같은 라가는 넓은 다중분포적 스펙트럼을 보이며, 비극적이고 영웅적인 정서 맛과 관련이 있었다.
• 악기 선택이 다중분포적 프로파일에 영향을 미쳤으며, 동일한 라가 내에서도 Δα의 변화가 관찰되어 연주 스타일이 정서 인식에 영향을 준다는 것을 시사했다.
• MFDFA 기반 분석은 6개 라가 간 정서 서명을 성공적으로 구분하였으며, 이는 방법의 정서적 내용에 대한 민감성을 뒷받침했다.
• 특이성 스펙트럼의 시각적 점검을 통해 각 라가에 대해 일관된 패턴이 드러났으며, 이는 MFDFA가 음악에서 정서 분류 잠재력을 지닌다는 것을 강화했다.
• 결과적으로, 알라프 구간의 비선형 동역학이 힌두스탄 음악에서 자동 정서 인식을 위한 구분 가능한 정보를 지닌다는 것이 입증되었다.