[논문 리뷰] Metric Learning vs Classification for Disentangled Music Representation Learning

Jongpil Lee, Nicholas J. Bryan외 3명|arXiv (Cornell University)|2020. 08. 09.

Music and Audio Processing참고 문헌 32인용 수 13

한 줄 요약

이 논문은 다중 레이블 음악 데이터에서 분리된 음악 표현 학습을 위한 메트릭 학습과 분류 간의 통합 프레임워크를 제안한다. 분리 및 정규화를 통합함으로써 저자들은 대부분의 작업—특히 자동 태깅에서—분류 기반 모델이 메트릭 학습을 능가함을 보여주며, 최신 기술 수준의 성능을 달성한다. 반면 메트릭 학습은 유사도 트리플릿을 위한 본질적인 설계 덕분에 트리플릿 예측에서 뛰어난 성능을 보인다.

ABSTRACT

Deep representation learning offers a powerful paradigm for mapping input data onto an organized embedding space and is useful for many music information retrieval tasks. Two central methods for representation learning include deep metric learning and classification, both having the same goal of learning a representation that can generalize well across tasks. Along with generalization, the emerging concept of disentangled representations is also of great interest, where multiple semantic concepts (e.g., genre, mood, instrumentation) are learned jointly but remain separable in the learned representation space. In this paper we present a single representation learning framework that elucidates the relationship between metric learning, classification, and disentanglement in a holistic manner. For this, we (1) outline past work on the relationship between metric learning and classification, (2) extend this relationship to multi-label data by exploring three different learning approaches and their disentangled versions, and (3) evaluate all models on four tasks (training time, similarity retrieval, auto-tagging, and triplet prediction). We find that classification-based models are generally advantageous for training time, similarity retrieval, and auto-tagging, while deep metric learning exhibits better performance for triplet-prediction. Finally, we show that our proposed approach yields state-of-the-art results for music auto-tagging.

연구 동기 및 목표

• 메트릭 학습과 분류 기반 표현 학습 간의 관계를 분리된 음악 표현 학습의 맥락에서 탐구하기.
• 여러 의미적 개념(예: 장르, 분위기, 악기)이 동시에 존재하는 다중 레이블 음악 데이터로 이 관계를 확장하기.
• 유사도 검색, 자동 태깅, 트리플릿 예측과 같은 후행 작업을 위한 분리된 표현 학습 하에서 두 파라디그마를 평가하기.
• 정규화와 분리 기반으로 강화된 분류 기반 모델이 실제 음악 응용에서 메트릭 학습을 능가할 수 있는지 확인하기.

제안 방법

• 삼중항 기반 메트릭 학습, 프록시 기반 메트릭 학습, 분류 기반 학습의 세 학습 파라디그마에 모두 분리를 적용하는 통합 프레임워크를 제안한다.
• 공유된 인코더 네트워크를 사용해 임베딩을 추출하며, 각 의미적 개념(예: 장르, 분위기)에 대해 별도의 부분공간을 사용해 분리를 구현한다.
• 유사도 기반 검색 성능 향상을 위해 분류 기반 모델에 정규화 레이어를 적용한다.
• 각 곡이 여러 태그와 연결되는 다중 레이블 감독을 사용하여 모델을 훈련시키며, 이 태그들을 메트릭 및 분류 목표를 안내하는 데 활용한다.
• 쌍별 비교 대신 클래스 중심점과의 비교를 사용해 메트릭 학습을 가속화하기 위해 프록시 기반 훈련을 사용한다.
• 훈련 시간, 유사도 검색, 자동 태깅, 트리플릿 예측의 네 가지 작업을 사용해 모델을 평가하며, 정규화 및 분리에 대한 아블레이션 연구를 실시한다.

실험 결과

연구 질문

• RQ1 다중 레이블 음악 데이터에 적용했을 때, 메트릭 학습과 분류 기반 표현 학습 간의 성능 및 효율성은 어떻게 비교되는가?
• RQ2 분리된 표현이 다양한 음악 검색 작업 전반에서 메트릭 학습 및 분류 기반 모델의 일반화 능력을 향상시키는가?
• RQ3 분류 기반 모델에 정규화를 포함시키면 유사도 기반 검색 작업 성능이 향상되는가?
• RQ4 트리플릿 예측은 실제 음악 검색 성능을 신뢰할 수 있는 지표로 간주할 수 있는가, 아니면 이에 최적화된 모델이 후행 작업에서 성능이 떨어지는가?
• RQ5 통합 프레임워크는 분리된 음악 표현의 맥락에서 메트릭 학습과 분류의 강점을 효과적으로 비교하고 대조할 수 있는가?

주요 결과

• 정규화와 분리를 적용한 분류 기반 모델은 자동 태깅에서 이전의 모든 베이스라인을 능가하는 최신 기술 수준의 성능을 달성한다.
• 정규화와 분리를 적용한 분류 기반 모델은 훈련 시간, 유사도 검색, 자동 태깅 작업에서 삼중항 기반 메트릭 학습보다 뚜렷이 승리한다.
• 삼중항 기반 모델은 트리플릿 예측에서 특히 트랙 정규화를 사용할 경우 가장 뛰어난 성능을 보이며, 이는 이 특정 벤치마크에서의 강점을 확인한다.
• 프록시 기반 및 분류 기반 모델은 훈련 중에 전체 다중 레이블 감독을 사용함으로써 트리플릿 예측를 제외한 모든 작업에서 뛰어난 성능을 보인다.
• qualitative t-SNE 시각화 결과, 분리된 표현이 특정 의미적 차원(예: 여성 보컬, 악기)을 따라 의미 있는 군집을 형성함을 확인하여 분리 성질을 검증한다.
• 본 연구는 특정 조건 하에서 프록시 기반 훈련이 이론적으로나 경험적으로 분류 기반 학습과 동치임을 입증하며, 두 파라디그마 간의 유대를 강화한다.