[논문 리뷰] Visual Display and Retrieval of Music Information

Rafael Valle|arXiv (Cornell University)|2018. 07. 26.

Music and Audio Processing참고 문헌 21인용 수 3

한 줄 요약

이 논문은 스펙트로그램, MFCC, CQT, 크로마그래프와 같은 오디오 기술적 특징과 자가 유사성 행렬 및 t-SNE 투영과 같은 데이터 시각화 기법을 결합하여 음악 정보의 시각화 및 검색을 위한 계산 방법을 제시한다. 이러한 도구들이 음악의 구조, 톤, 유사성에 대한 체계적이고 정량적인 분석을 가능하게 하여 음악학적 연구와 음악 정보 검색 분야의 산업적 응용을 뒷받침함을 보여준다.

ABSTRACT

This paper describes computational methods for the visual display and analysis of music information. We provide a concise description of software, music descriptors and data visualization techniques commonly used in music information retrieval. Finally, we provide use cases where the described software, descriptors and visualizations are showcased.

연구 동기 및 목표

• 오디오 및 심볼릭 데이터로부터 음악 정보를 시각화하고 검색하기 위한 계산 방법을 개발하고 시연하는 것.
• 접근 가능한 도구와 기술적 특징을 제공하여 음악학자들과 계산 음악학자 간 격차를 메우는 것.
• 시각화가 음악 분석에서 애너테이션 품질을 향상시키고 인간의 노동을 감소시키는 방식을 보여주는 것.
• 특징 추출 및 차원 축소를 통해 음악의 구조, 톤, 유사성에 대한 체계적이고 정량적인 분석을 가능하게 하는 것.
• Spotify 및 Gracenote와 같은 기업에서의 응용 사례를 포함하여 MIR 기법의 실용적 응용을 설명하는 것.

제안 방법

• 음성 신호에서 톤 특징을 추출하기 위해 단기 푸리에 변환(STFT)과 멜 주파수 체계 코 efficient 계수(MFCC)를 사용한다.
• 고정 Q 변환(CQT)과 크로마 특징을 적용하여 옥타브 불변의 톤 계급 표현 방식으로 톤 내용을 표현한다.
• 거리 함수를 사용해 프레임 간 유사성을 측정함으로써 자가 유사성 행렬을 활용해 음악의 구조적 패턴을 탐지한다.
• t-SNE와 MDS와 같은 차원 축소 기법을 사용해 고차원 특징 프레임을 2차원 시각화 공간으로 투영하여 유사성 분석을 수행한다.
• CQT 특징을 색상 채널에 매핑하여 RGB 색상 공간에 특징 투영을 시각화함으로써 시간적 변화와 인지적 해석을 가능하게 한다.
• 유클리드 거리와 상관계수와 같은 특징 기반의 거리 측정 방법을 사용해 음악적 실체 간의 유사성을 정량화한다.

실험 결과

연구 질문

• RQ1 MFCC, CQT, 크로마와 같은 오디오 기술적 특징이 음악의 톤과 톤 구조를 어떻게 표현하고 분석하는 데 사용될 수 있는가?
• RQ2 스펙트로그램, 자가 유사성 행렬, t-SNE 투영과 같은 시각화 기법이 음악 정보 검색을 어떻게 향상시키는가?
• RQ3 데이터 시각화가 커뮤니티 기반 음악 애너테이션 환경에서 정확성과 효율성을 어떻게 향상시키는가?
• RQ4 컴퓨터 기반 방법이 인간의 인지와 일치하는 방식으로 음악의 유사성을 얼마나 정량적으로 측정할 수 있는가?
• RQ5 t-SNE와 같은 차원 축소 기법을 통해 대규모 음악 데이터셋에서 스타일 그룹화를 어떻게 드러낼 수 있는가?

주요 결과

• 스펙트로그램 시각화가 음악 애너테이션 작업에서 애너테이터 간 일치도를 크게 향상시키고 시간과 노동을 감소시킨다.
• MFCC와 CQT 특징은 인간 청각 인지와 유사한 청각적으로 중요한 톤 특징을 효과적으로 포착한다.
• 비트에 맞춰진 CQT 특징에서 계산된 자가 유사성 행렬은 Grisey의 Partiels와 같은 복잡한 음악 작품에서 구조적 패턴을 성공적으로 드러낸다.
• 수천 개의 곡에서 유도된 특징 프레임의 t-SNE 투영은 Hardcore Punk와 Ambient와 같은 음악 스타일을 명확히 분리하며, 점 간 거리는 인지적 유사성을 반영한다.
• CQT 특징을 3차원 RGB 공간에 색상 매핑함으로써 시간적 음악적 진화와 특징 유사성에 대한 직관적인 시각적 해석이 가능해진다.
• 다이내믹스가 다른 톤 프로파일을 비교할 때 상관계수와 같은 거리 측정 방법이 유클리드 거리보다 인간의 청각 유사성 인식을 더 잘 반영한다.