[논문 리뷰] Corpus COFLA: A research corpus for the Computational study of Flamenco Music

Nadine Kroher, José Miguel Díaz-Báñez외 2명|arXiv (Cornell University)|2015. 10. 14.

Music and Audio Processing참고 문헌 5인용 수 4

한 줄 요약

이 논문은 100개의 전문가가 녹음한 곡을 포함하는 포괄적인 플라멩코 음악 연구용 코퍼스인 corpusCOFLA를 소개한다. 이 코퍼스는 풍부한 오디오 자료, 메타데이터, 그리고 여러 가지 주석이 달린 하위집합을 포함하고 있으며, 계산 기반 음악학 분야에서 사용하기 위해 설계되었다. 이는 자동 멜로디 변환, 패턴 탐지, 스타일 분류 등의 음악 정보 검색 도구의 재현 가능한 개발 및 평가를 가능하게 하며, 10개의 별도한 플라멩코 스타일을 위한 공개된 데이터와 표준화된 주석을 제공한다.

ABSTRACT

Flamenco is a music tradition from Southern Spain which attracts a growing community of enthusiasts around the world. Its unique melodic and rhythmic elements, the typically spontaneous and improvised interpretation and its diversity regarding styles make this still largely undocumented art form a particularly interesting material for musicological studies. In prior works it has already been demonstrated that research on computational analysis of flamenco music, despite it being a relatively new field, can provide powerful tools for the discovery and diffusion of this genre. In this paper we present corpusCOFLA, a data framework for the development of such computational tools. The proposed collection of audio recordings and meta-data serves as a pool for creating annotated subsets which can be used in development and evaluation of algorithms for specific music information retrieval tasks. First, we describe the design criteria for the corpus creation and then provide various examples of subsets drawn from the corpus. We showcase possible research applications in the context of computational study of flamenco music and give perspectives regarding further development of the corpus.

연구 동기 및 목표

• 플라멩코 음악의 계산 기반 분석을 위한 표준화되고 공개된 데이터셋의 부족을 해결하기 위해.
• 플라멩코 음악을 위한 음악 정보 검색(MIR) 알고리즘의 개발, 훈련, 평가를 지원하는 통합 데이터 프레임워크를 구축하기 위해.
• 정련된 전문가 검증 오디오 녹음, 일관된 메타데이터, 여러 주석 처리된 하위집합을 제공함으로써 재현 가능성과 접근성 확보하기 위해.
• 컴퓨터 기반 연구와 전통 음악학적 연구의 융합을 지원하기 위해 플라멩코 음악에 대한 계산 기반 및 전통적 음악학적 연구의 기초를 제공하기 위해.
• 자동 멜로디 변환, 리듬적 구조 탐지, 멜로디 유사도 분석 등의 작업에서의 벤치마킹과 진전을 촉진하기 위해.

제안 방법

• 코퍼스는 100개의 상업적으로 유통된 플라멩코 녹음본에서 유래하였으며, 복잡성과 장식의 균형을 고려해 10개의 주요 플라멩코 스타일 가문을 균일하게 반영하도록 철저히 선별되었다.
• 전문 음악학자들이 원시 오디오 자료를 정리하고 핵심 작업, 즉 보컬 멜로디 변환과 반복되는 멜로디 패턴 탐지에 대한 수동 주석을 제공하였다.
• 코퍼스의 핵심에서 파생된 여러 주석 처리된 하위집합이 존재한다: cante2midi(20개의 트랙), 멜로디 변환을 위한; canteFAN(10개의 트랙), 패턴 탐지를 위한; cante100(100개의 트랙), 스타일 분류를 위한.
• 저수준 오디오 기술적 특성(MFCC, 스펙트럼 플럭스, RMS 등)은 essentia 오디오 분석 라이브러리를 사용해 추출되었으며, MIDI 및 CSV 형식의 주석과 함께 저장되었다.
• 주석은 전문가 검토를 거치고 자동 시스템과의 교차 검증을 통해 고도로 신뢰성 있고 일관성 있는 결과를 확보하였다.
• 오디오, 메타데이터, 주석을 포함한 모든 데이터는 연구 목적 전용 명시적 라이선스를 갖춘 온라인 레포지토리에서 공개되었다.

실험 결과

연구 질문

• RQ1 표준화되고 공개된 코퍼스가 계산 기반 플라멩코 음악 연구의 재현 가능성과 벤치마킹을 향상시킬 수 있는가?
• RQ2 COFLA와 같은 다양하고 전문가가 주석 처리한 코퍼스를 기반으로 훈련 및 평가된 자동 멜로디 변환 시스템은 얼마나 효과적인가?
• RQ3 반복되는 멜로디 패턴은 주석 처리된 학습 데이터를 활용해 플라멩코 음악에서 얼마나 신뢰성 있게 탐지될 수 있는가?
• RQ4 대표적인 하위집합을 기반으로 훈련된 계산 모델이 다양한 플라멩코 스타일 가문 간에 얼마나 잘 일반화되는가?
• RQ5 코퍼스에서 추출된 저수준 오디오 기술적 특성은 플라멩코 음악의 강력한 분류 및 유사도 분석을 지원할 수 있는가?

주요 결과

• corpusCOFLA 데이터셋은 10개의 별도한 스타일 가문을 포함하는 100개의 고품질 플라멩코 녹음본을 포함하며, 균형 잡힌 표현을 위해 균일한 샘플링이 이루어졌다.
• cante2midi 하위집합은 수동으로 검증된 노트 수준의 보컬 멜로디 변환과 틀 단위 오디오 기술적 특성(저수준 기술적 특성)을 포함한 20개의 트랙을 포함하여 멜로디 추출 알고리즘의 엄격한 평가를 가능하게 한다.
• canteFAN 하위집합은 반복되는 멜로디 패턴이 주석 처리된 10개의 트랙을 제공하여 플라멩코 음악에서 모티프 탐지 및 구조 분석 연구를 지원한다.
• cante100 하위집합은 메타데이터와 musicBrainz ID를 포함한 100개의 트랙을 포함하여 대규모 스타일 분류 및 비교 연구를 가능하게 한다.
• 모든 주석은 플라멩코 전문가에 의해 검증되어 변환 및 패턴 탐지 과정에서의 높은 신뢰성과 주관성 감소를 보장하였다.
• 코퍼스와 주석 처리된 하위집합은 모두 공개되어 있어 계산 기반 플라멩코 연구의 투명성, 재현 가능성, 협업을 촉진한다.