[논문 리뷰] Architecture for Automated Tagging and Clustering of Song Files According to Mood

Puneet Singh, Ashutosh Kapoor외 2명|arXiv (Cornell University)|2012. 06. 12.

Music and Audio Processing참고 문헌 5인용 수 3

한 줄 요약

이 논문은 음악 파일의 자동 분류를 위한 하이브리드 아키텍처를 제안한다. 음성 특징, 가사의 정서적 내용, 온라인 데이터를 활용하여 정서 기반 분류를 수행한다. 음성(강도, 톤, 리듬)과 가사를 2차원 정서 공간으로 매핑하고 웹 기반 메타데이터와 융합함으로써, 디지털 라이브러리 내 개인화된 음악 검색을 향상시키기 위해 노래를 정서 카테고리로 정확하게 군집화할 수 있다.

ABSTRACT

Music is one of the basic human needs for recreation and entertainment. As song files are digitalized now a days, and digital libraries are expanding continuously, which makes it difficult to recall a song. Thus need of a new classification system other than genre is very obvious and mood based classification system serves the purpose very well. In this paper we will present a well-defined architecture to classify songs into different mood-based categories, using audio content analysis, affective value of song lyrics to map a song onto a psychological-based emotion space and information from online sources. In audio content analysis we will use music features such as intensity, timbre and rhythm including their subfeatures to map music in a 2-Dimensional emotional space. In lyric based classification 1-Dimensional emotional space is used. Both the results are merged onto a 2-Dimensional emotional space, which will classify song into a particular mood category. Finally clusters of mood based song files are formed and arranged according to data acquired from various Internet sources.

연구 동기 및 목표

• 확장하는 디지털 음악 라이브러리에서 전통적인 장르 기반 시스템을 초월해 음악을 검색하는 데 증가하는 도전에 대응하기 위해.
• 다양한 데이터 소스를 활용하여 음악을 정서 기반 카테고리로 자동 분류하는 아키텍처를 개발하기 위해.
• 음성 콘텐츠 분석, 가사의 정서적 가치, 온라인 정보를 통합하여 정서 분류를 향상시키기 위해.
• 노래를 2차원 심리적 정서 공간에 매핑하여 더 세밀한 정서 분류를 가능하게 하기 위해.
• 다양한 소스에서 유래한 융합된 데이터를 활용하여 정서 기반 음악 파일의 의미 있는 군집을 형성하기 위해.

제안 방법

• 음성 콘텐츠 분석은 강도, 톤, 리듬 및 그 하위 특징을 추출하여 음악을 2차원 정서 공간에 매핑한다.
• 가사 기반 분석은 정서적 톤을 평가하기 위해 1차원 정서 공간을 사용하여 가사의 정서적 가치를 평가한다.
• 음성 및 가사 분석 결과를 융합하여 통합된 2차원 정서 공간에 매핑하여 종합적인 정서 표현을 구현한다.
• 추가적인 정서 관련 데이터는 온라인 소스에서 수집되어 정서 분류의 풍부함과 타당성을 높인다.
• 군집 알고리즘은 융합된 정서 프로파일을 바탕으로 음악을 정서 기반 카테고리로 그룹화한다.
• 최종 시스템은 음성, 가사, 웹 기반 메타데이터의 병합된 입력을 사용하여 음악 파일을 정서 군집으로 조직한다.

실험 결과

연구 질문

• RQ1 강도, 톤, 리듬과 같은 음성 특징이 음악의 정서적 콘텐츠를 효과적으로 표현하는 데 어떻게 활용될 수 있는가?
• RQ2 가사의 정서적 내용이 1차원 정서 공간에서 정서 분류에 어느 정도 기여할 수 있는가?
• RQ3 음성 기반과 가사 기반의 정서 표현이 통합된 2차원 정서 공간으로 융합되는 방법은 무엇인가?
• RQ4 외부 온라인 소스는 정서 기반 음악 군집화의 정확성과 관련성 향상에 어떤 역할을 하는가?
• RQ5 제안된 아키텍처는 음악 파일의 의미 있고 명확한 정서 군집을 형성하는 데 얼마나 효과적인가?

주요 결과

• 음성과 가사의 정서적 특징을 2차원 정서 공간에 융합함으로써 단일 소스 접근 방식보다 더 세밀하고 정확한 정서 분류가 가능하다.
• 온라인 데이터의 통합은 정서 기반 음악 군집화의 강건성과 맥락적 관련성을 향상시킨다.
• 다양한 음악 파일이 다중 모odal 분석을 통해 명확한 정서 카테고리로 매핑되는 데 성공했다.
• 군집 결과는 심리적 정서 차원을 기반으로 일관된 그룹화를 보이며 검색 효율성을 향상시켰다.
• 이 아키텍처는 디지털 음악 라이브러리의 정서 기반 조직을 위한 확장 가능하고 자동화된 솔루션을 제공한다.
• 사용자의 정서적·심리적 필요와 더 밀접하게 부합하기 때문에 기존의 장르 기반 분류 방식을 능가한다.