[논문 리뷰] A Categorical Approach for Recognizing Emotional Effects of Music

Mohsen Sahraei Ardakani, Amir Arbabi|arXiv (Cornell University)|2017. 09. 17.

Music and Audio Processing참고 문헌 20인용 수 3

한 줄 요약

이 논문은 음악의 정서적 효과를 식별하기 위한 범주적 접근을 제안하며, 음성 특징과 기계 학습을 조합한다. 피셔의 선형 판별 분석을 적용하여 '행복', '슬픔', '편안함', '흥미진진함', '에픽', '스릴러'의 여섯 가지 정서 레이블을 분류하며, 시간적, 스펙트럼적, 에너지 기반 특징을 추출한다. 지지 벡터 기반 분류기(SVM)는 '에픽' 음악 부분을 식별하는 데 77.4%의 정확도를 기록하여 가장 높은 성능을 보였다.

ABSTRACT

Recently, digital music libraries have been developed and can be plainly accessed. Latest research showed that current organization and retrieval of music tracks based on album information are inefficient. Moreover, they demonstrated that people use emotion tags for music tracks in order to search and retrieve them. In this paper, we discuss separability of a set of emotional labels, proposed in the categorical emotion expression, using Fisher's separation theorem. We determine a set of adjectives to tag music parts: happy, sad, relaxing, exciting, epic and thriller. Temporal, frequency and energy features have been extracted from the music parts. It could be seen that the maximum separability within the extracted features occurs between relaxing and epic music parts. Finally, we have trained a classifier using Support Vector Machines to automatically recognize and generate emotional labels for a music part. Accuracy for recognizing each label has been calculated; where the results show that epic music can be recognized more accurately (77.4%), comparing to the other types of music.

연구 동기 및 목표

• 앨범 메타데이터 기반의 현재 음악 검색 시스템의 비효율성을 해결하기 위해.
• 음성 콘텐츠 기반으로 음악을 자동으로 정서 레이블로 태깅할 수 있는지 탐색하기 위해.
• 통계적 특징 분석을 통해 정서 카테고리 간의 분리 가능성 평가하기 위해.
• 음악 세그먼트의 정서적 효과를 인식할 수 있는 기계 학습 모델 개발하기 위해.
• 음성 특징을 사용할 때 어떤 정서 카테고리가 가장 명확하게 구분되는지 파악하기 위해.

제안 방법

• 음악 세그먼트에서 시간적, 주파수적, 에너지 기반 음성 특징을 추출하였다.
• 정서 레이블 간의 분리 가능성 평가를 위해 피셔의 선형 판별 분석을 적용하였다.
• 목표 레이블로 '행복', '슬픔', '편안함', '흥미진진함', '에픽', '스릴러'의 여섯 가지 정서 형용사를 선정하였다.
• 특징 집합을 기반으로 지지 벡터 기반 분류기(SVM)를 훈련시어 정서 카테고리 예측을 수행하였다.
• 특징 집합이 정서 클래스 간에 얼마나 구분 가능한지를 평가하기 위해 피셔의 분리 정리(Fisher separation theorem)를 사용하였다.
• 정서 카테고리 간 특징 분포 분석을 통해 분류 성능을 최적화하였다.

실험 결과

연구 질문

• RQ1 음성 특징을 사용하여 음악의 정서 레이블을 효과적으로 분리할 수 있는가?
• RQ2 특징 공간에서 어떤 정서 카테고리가 가장 높은 분리 가능성을 보이는가?
• RQ3 기계 학습 모델이 사전 정의된 정서 카테고리로 음악을 얼마나 정확하게 분류할 수 있는가?
• RQ4 제안된 시스템에서 어떤 정서 레이블이 가장 신뢰성 있게 인식되는가?
• RQ5 시간적, 스펙트럼적, 에너지 기반의 다양한 음성 특징이 정서 분류에 기여하는 정도는 어떠한가?

주요 결과

• '편안함'과 '에픽' 음악 세그먼트 간의 최대 분리 가능성이 관찰되었다.
• 지지 벡터 기반 분류기(SVM)는 '에픽' 음악 세그먼트를 인식하는 데 77.4%의 최고 정확도를 기록하였다.
• '에픽' 카테고리는 여섯 가지 중에서 가장 정확하게 분류된 정서 레이블이었다.
• 시간적, 주파수적, 에너지 특징이 함께 작용하여 효과적인 정서 분류를 가능하게 하였다.
• 결과는 음성 특징과 통계적 학습을 활용한 음악의 자동 정서 태깅의 가능성에 대한 지원을 제공한다.
• 본 연구는 피셔의 판별 분석을 활용한 정서 분류의 체계적인 접근 가능성을 입증한다.