[논문 리뷰] Proceedings of the 20th Sound and Music Computing Conference

Roberto Bresin, Kjetil Falkenberg Hansen|arXiv (Cornell University)|2023. 06. 14.

Diverse Musicological Studies인용 수 1

한 줄 요약

이 논문은 CREPE의 피치 추적 결과를 바탕으로 단성음 음악의 연속 피치 컨투어를 이산 음으로 분할하는 경량 후처리 방법인 CREPE Notes를 제안한다. CREPE의 신뢰도 점수와 피치 기울기 특징을 정규화된 역신뢰도 가중 기울기 신호로 조합함으로써, 낮은 임계값을 사용해 강건한 음계 경계 검출이 가능해지며, Filosax 데이터셋에서 82.31%의 F-측도를 기록하고, 딥러닝 대안 대비 97%의 파rameter 감소를 달성한다.

ABSTRACT

Proceedings of the 20th Sound and Music Computing Conference. June 15-17, 2023. Stockholm, Sweden. DOI 10.5281/zenodo.8136568 ISBN 978-91-527-7372-7 Conference website: smcnetwork.org/smc2023/ Video recordings of the conference concerts and keynotes: www.youtube.com/@navetresearch

연구 동기 및 목표

• 단성음 악기 음악 번역을 위한 연속 피치 컨투어를 이산 음으로 분할하는 문제를 해결하기 위해.
• 시작점 검출이나 보컬 전용 특징에 의존하는 기존 음 분할 방법은 악기 음악에 대해 덜 효과적이므로 이를 개선하기 위해.
• 대규모이고 복잡한 딥러닝 모델이 필요 없이 정확하고 계산 효율적인 방법을 개발하기 위해.
• CREPE의 고정밀도 f0 추적과 신뢰도 출력을 기반으로 강건하고 일반화 가능한 음 분할을 가능하게 하기 위해.
• 단순한 알고리즘적 후처리가 단성음 번역 과제에서 더 복잡한 딥러닝 모델보다도 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 프레임 단위의 f0 추정치와 신뢰도 점수를 처리하여, 역신뢰도와 정규화된 절대 피치 기울기의 조합 신호를 이용해 음계 경계를 검출한다.
• 피치 기울기를 반음 단위(로그 주파수)로 계산하여 청각적 비선형성에 대응한다.
• 조합된 신호는 역신뢰도(구점이 정점으로 변환됨)와 정규화된 절대 기울기의 곱으로 형성되며, 음계 전환 지점에서 정점 검출을 향상시킨다.
• 조합된 신호의 정점 검출을 위해 낮은 임계값(0.002)을 적용하며, 이 정점은 후보 음계 경계에 해당한다.
• 이웃하는 세그먼트 간의 중앙값 피치를 비교하여 세그먼트를 정제한다: 차이가 한 반음 이상이면 경계를 확인하고, 그렇지 않으면 세그먼트를 병합한다.
• 추가 처리로는 앰플리튜드 임계값 처리(기본값 15/127)와 최소 지속시간 필터링(30ms)을 통해 침묵 또는 부정확한 음을 제거하고, 음의 시작/종료를 청각적 시작점에 맞추기 위해 앰플리튜드 트imming을 수행한다.

실험 결과

연구 질문

• RQ1 단순한 딥러닝이 아닌 후처리 방법이 악기 음악을 위한 단성음 분할 과제에서 기존 최신 기술 수준의 모델을 능가할 수 있는가?
• RQ2 피치 기울기와 신뢰도 특징을 조합하면 단일 특징을 사용할 때보다 경계 검출의 강건성이 얼마나 향상되는가?
• RQ3 CREPE를 백본으로 사용할 때 모델 크기가 음 분할 성능에 미치는 영향은 어느 정도인가?
• RQ4 경량 방법이 MT3와 같은 더 큰 모델 대비 97%의 파라미터 감소를 이룰 수 있을까?
• RQ5 이 방법은 빠른 연주나 레그아토 연주와 같은 다양한 악기와 연주 스타일에 일반화되는가?

주요 결과

• Filosax 데이터셋에서 CREPE Notes는 F-측도 82.31%를 기록했으며, PYIN(82.31%), Basic Pitch(75.54%), MT3(42.97%)를 모두 능가했다.
• ITM Flute 99 데이터셋에서 F-측도는 66.35%를 기록했으며, PYIN(46.44%), Basic Pitch(59.58%), MT3(25.47%)를 초월했다.
• MT3(77M 파라미터) 대비 97%의 파라미터 감소를 달성했으며, 더 뛰어난 성능을 유지했다.
• 가장 작은 CREPE 모델(0.5M 파라미터)이 전체 모델(22M 파라미터)과 거의 유사한 성능을 보였으며, 중앙값 피치 평균화로 인해 f0 추적 오차에 강건함을 시사했다.
• 시작점 기반 방법이 자주 실패하는 빠른 연주나 레그아토 연주에서도 높은 정확도를 유지하여, 도전적인 음악적 맥락에서의 효과성을 입증했다.
• 앰플리튜드 임계값 처리와 트imming을 통해 침묵 또는 낮은 앰플리튜드 세그먼트에서 유발되는 오진 정점이 크게 감소하여 전체 분할 품질이 향상되었다.