[논문 리뷰] OrchideaSOL: a dataset of extended instrumental techniques for computer-aided orchestration

Carmine-Emanuele Cella, Daniele Ghisi외 4명|arXiv (Cornell University)|2020. 07. 01.

Music and Audio Processing참고 문헌 9인용 수 11

한 줄 요약

OrchideaSOL은 원본 Studio On Line(SOL) 녹음에서 유도된 확장된 악기 기법의 무료이자 고해상도 데이터셋으로, 정확한 다이내믹 레인지 복원 및 타깃 기반 컴퓨터 보조 오케스트레이션을 위한 일관성을 확보하기 위해 재처리되었다. 이전 버전에 비해 접근성 마이크(트랙 3)를 사용하고, 44.1 kHz로 리샘플링하며, 라우드니스 가중 RMS 정규화를 적용함으로써 Orchidea와 같은 시스템에서 더 현실적인 오케스트라 믹스를 가능하게 한다.

ABSTRACT

This paper introduces OrchideaSOL, a free dataset of samples of extended instrumental playing techniques, designed to be used as default dataset for the Orchidea framework for target-based computer-aided orchestration. OrchideaSOL is a reduced and modified subset of Studio On Line, or SOL for short, a dataset developed at Ircam between 1996 and 1998. We motivate the reasons behind OrchideaSOL and describe the differences between the original SOL and our dataset. We will also show the work done in improving the dynamic ranges of orchestral families and other aspects of the data.

연구 동기 및 목표

• Orchidea와 같은 시스템에서 오케스트레이션 결과에 악영향을 미친 원본 SOL 데이터셋의 다이내믹 레인지 일관성 저하 문제를 해결하기 위해.
• 오케스트라 악기의 진짜 다이내믹 특성을 유지하는 무료, 신뢰할 수 있고 재현 가능한 컴퓨터 보조 오케스트레이션용 데이터셋을 만들기 위해.
• 음악 정보 검색, 음악 인지 및 사운드 합성 분야의 연구를 위한 확장된 연주 기법의 해상도와 활용도를 향상시키기 위해.
• 비상업적 사용을 위한 무료로 접근 가능한 SOL 버전을 제공하고, 체크섬 검증 및 버전 관리로 무결성을 입증하기 위해.
• 이전 배포판에 존재하는 진폭 정규화 및 리샘플링 아티팩트를 수정함으로써 더 현실적인 오케스트라 사운드 믹스를 가능하게 하기 위해.

제안 방법

• 가장 깔끔하고 리버브가 적은 신호를 제공하는 접근성 마이크(트랙 3)만을 선택하여 원본 SOL 녹음에서 OrchideaSOL을 재구성하였다.
• 표준 오디오 처리 파이프라인과의 호환성을 확보하기 위해 모든 오디오 파일을 48 kHz에서 44.1 kHz로 24비트 깊이로 리샘플링하였다.
• 스테레오 불균형을 제거하고 데이터 복잡성을 줄이면서도 핵심 톤과 다이내믹 콘텐츠를 유지하기 위해 모든 파일을 모노로 변환하였다.
• pyloudnorm 라이브러리를 사용해 라우드니스 가중 RMS 정규화를 적용하여 다이내믹 마킹(pp, mf, ff) 간의 진폭 불일치를 보정하였다.
• 각 악기의 다이내믹 반응을 MIDI 편도와 다이내믹 마킹에 따라 특성화하기 위해 라우드니스 가중 RMS 데이터에 이차 회귀 모델을 피팅하였다.
• 4096샘플 윈도우와 2048샘플 히프를 사용하여 각 샘플에 대해 스펙트럼 에너지, MFCCs, 스펙트럼 피크, 스펙트럼 모멘트(중심, 산란도, 비대칭도, 첨도) 등의 사전 계산된 특징을 생성하고 저장하였다.

실험 결과

연구 질문

• RQ1 원본 SOL 데이터셋의 다이내믹 레인지 불일치 문제는 어떻게 수정할 수 있으며, 이는 컴퓨터 보조 오케스트레이션 출력의 현실성 향상에 어떻게 기여하는가?
• RQ2 단일 일관성 있는 마이크 채널(접근성 마이크)을 사용할 경우 오케스트라 사운드 데이터셋의 신뢰성과 재현 가능성은 어느 정도 향상되는가?
• RQ3 음질을 유지하면서도 더 넓은 연구 접근성을 제공할 수 있는 무료, 개방형이며 검증 가능한 SOL 버전을 만들 수 있는가?
• RQ4 다이내믹 마킹과 편도에 걸쳐 라우드니스 가중 RMS 회귀 분석을 통해 오케스트라 악기의 다이내믹 반응을 얼마나 정확하게 모델링할 수 있는가?
• RQ5 사전 계산된 스펙트럼 및 청각적 특징(MFCCs, 스펙트럼 모멘트 등)은 음악 정보 검색 및 생성 모델링 작업 성능에 어떤 영향을 미치는가?

주요 결과

• OrchideaSOL은 원본 SOL 데이터셋의 총 연주 기법의 35%를 차지하는 12,253개의 고품질 오디오 샘플을 포함하고 있으며, 확장 기법과 오디너리오 사운드가 그대로 유지되어 있다.
• 접근성 마이크(트랙 3)를 사용함으로써 이전 버전의 진폭 정규화 문제를 수정하여 악기 간에 더 정확한 다이내믹 레인지가 구현되었다.
• 모든 악기의 경우 라우드니스 가중 RMS 회귀 모델이 성공적으로 피팅되었으며, 플루트의 경우 이차식으로 표현된 모델: $ L_{\textrm{dB},\textrm{flute}} \approx -82.3301 + 0.2732M + 3.0831D + 0.0194MD + 0.0008M^2 + 0.0823D^2 $.
• 모든 샘플에 대해 평균 스펙트럼, MFCCs(첫 20개), 스펙트럼 에너지(1024bins), 스펙트럼 피크(첫 120개) 등의 스펙트럼 특징이 사전 계산되어 공개되었다.
• MD5 체크섬을 통해 mirdata 라이브러리에서 무결성 검증이 가능한 무료 비상업 라이선스로 배포되어 재현 가능성과 신뢰성을 확보하였다.
• OrchideaSOL은 영구적인 DOI를 가진 Zenodo에 호스팅되어 과학 연구를 위한 인용 가능한 접근성과 장기적 가용성을 확보하고 있다.