[논문 리뷰] DLR : Toward a deep learned rhythmic representation for music content analysis

Yeonwoo Jeong, Keunwoo Choi외 1명|arXiv (Cornell University)|2017. 12. 14.

Music and Audio Processing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 1D 확장 컨볼루션을 사용하여 다양한 확장 비율을 적용함으로써 리듬 패턴을 캡처하는 압축형 엔드 투 엔드 학습된 표현인 DLR(Depth-learned Rhythmic representation)를 제안한다. 리듬 및 템포와 관련된 소스 태스크로 훈련된 DLR는 메르-스펙트로그램과 유사한 성능을 보이며, 음악 태깅 작업에서 템포그램보다 뚜렷하게 뛰어난 성능을 보여, 음악 콘텐츠 분석을 위한 리듬 콘텐츠 캡처의 효율성과 효과성을 입증한다.

ABSTRACT

In the use of deep neural networks, it is crucial to provide appropriate input representations for the network to learn from. In this paper, we propose an approach to learn a representation that focus on rhythmic representation which is named as DLR (Deep Learning Rhythmic representation). The proposed approach aims to learn DLR from the raw audio signal and use it for other music informatics tasks. A 1-dimensional convolutional network is utilised in the learning of DLR. In the experiment, we present the results from the source task and the target task as well as visualisations of DLRs. The results reveals that DLR provides compact rhythmic information which can be used on multi-tagging task.

연구 동기 및 목표

• 손으로 만든 특징보다 더 효율적으로 음악의 시간 패턴을 캡처하는 압축형 데이터 기반 리듬 표현을 개발하는 것.
• 음악 콘텐츠 분석을 위한 딥 러닝에서 표현의 효율성과 정보의 풍부함 사이의 상충 관계를 해결하는 것.
• 2차원 시간-주파수 표현에 의존하지 않고 원시 음성에서 직접 이식 가능한 리듬 표현을 학습하는 것.
• 하流 태스크인 음악 태깅 작업에서 학습된 표현의 효과성을 평가하는 것.
• DLR가 멀티태스크 학습에서 기존 표현 방식(예: 메르-스펙트로그램)과 함께 보완적으로 기여할 수 있는지 조사하는 것.

제안 방법

• 다양한 확장 비율(예: 1, 2, 4)을 가진 1D 확장 컨볼루션 네트워크를 원시 음성에서 훈련하여 다양한 시간 스케일의 리듬 패턴을 캡처하는 것.
• 병렬 확장 컨볼루션에서 유도된 특징 맵을 연결하고 시간 축을 따라 평균 풀링을 적용하여 압축형 DLR 표현을 생성하는 것.
• 하류 작업(예: 음악 태깅)의 전이 가능한 입력 표현으로 DLR를 사용하는 것.
• 목표 음악 태깅 작업을 위해 메르-스펙트로그램 기반 5층 2D 컨볼루션 네트워크를 훈련하고, DLR를 대체 입력으로 사용하는 것.
• 리듬과 템포에 중점을 둔 프록시 소스 태스크를 통해 DLR를 최적화함으로써 리듬 특징의 엔드 투 엔드 학습을 가능하게 하는 것.
• DLR를 메르-스펙트로그램과 함께 다중 입력 설정에서 조합하여 보완 정보의 양을 평가하는 것.

실험 결과

연구 질문

• RQ1 딥 네트워크는 원시 음성에서 직접 압축형이고 효과적인 리듬 표현을 학습할 수 있는가?
• RQ2 DLR의 성능은 음악 태깅 작업에서 전통적인 리듬 표현 방식(예: 템포그램)과 비교해 어떻게 되는가?
• RQ3 DLR는 하류 음악 콘텐츠 분석 작업, 특히 다중 레이블 태깅에 효과적으로 전이되는가?
• RQ4 멀티모odal 입력 설정에서 메르-스펙트로그램과 함께 사용될 때 DLR는 보완적인 정보를 제공하는가?
• RQ5 1D 컨볼루션 네트워크에서 다양한 확장 비율은 짧고 긴 시간 스케일의 리듬 패턴을 어떻게 캡처하는가?

주요 결과

• DLR는 음악 태깅 작업에서 메르-스펙트로그램과 AUC 점수 차이가 0.0161~0.0196 이내로 매우 높은 성능을 보이며, 그 압축형 크기에도 불구하고 강력한 성능을 입증한다.
• DLR는 템포그램 표현보다 뚜렷하게 뛰어난 성능을 보이며, AUC에서 0.0873~0.0908의 향상 효과를 기록한다. 이는 DLR가 템포그램의 크기의 절반에도도 뛰어난 성능을 내는 것을 의미한다.
• 메르-스펙트로그램과 함께 조합했을 때 DLR는 AUC에서 0.0005~0.0016의 약간의 성능 향상을 기록하여, 제한적이지만 측정 가능한 보완 정보를 제공함을 시사한다.
• 시각화 결과, 저확장 비율 DLR는 장르 간 유사한 국소 패턴을 학습하는 반면, 고확장 비율 DLR는 다양하고 장기적인 리듬적 구조를 보이며, 장르 식별에 유용함을 확인하였다.
• DLR를 입력으로 사용한 네트워크는 메르-스펙트로그램을 사용한 네트워크와 거의 유사한 성능을 보이며, DLR가 단독 입력 표현으로서의 효과성을 확인한다.
• 결과는 DLR가 중복 없이 리듬 콘텐츠를 효율적으로 캡처함을 시사하며, 음악 정보 검색을 위한 압축형 이식 가능한 표현으로서의 역할을 뒷받침한다.