[논문 리뷰] Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation

Ke Chen, Beici Liang외 2명|arXiv (Cornell University)|2020. 10. 29.

Music and Audio Processing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 사용자 청취 이력과 인구통계학적 정보를 결합한 메트릭 러닝을 통해 사운드 임베딩(AE)을 학습하는 이중 브랜치 모델을 제안한다. 사용자 임베딩을 앵커로 삼아 좋아요/싫어요 트랙 쌍을 기반으로 학습함으로써 콘텐츠 기반 AE를 생성하며, 음악 추천(정밀도: 0.773, AUC: 0.849)에서 최신 기술 수준의 성능을 달성하고 장르 분류 정확도를 향상시킨다.

ABSTRACT

Personalized recommendation on new track releases has always been a challenging problem in the music industry. To combat this problem, we first explore user listening history and demographics to construct a user embedding representing the user's music preference. With the user embedding and audio data from user's liked and disliked tracks, an audio embedding can be obtained for each track using metric learning with Siamese networks. For a new track, we can decide the best group of users to recommend by computing the similarity between the track's audio embedding and different user embeddings, respectively. The proposed system yields state-of-the-art performance on content-based music recommendation tested with millions of users and tracks. Also, we extract audio embeddings as features for music genre classification tasks. The results show the generalization ability of our audio embeddings.

연구 동기 및 목표

• 신규 음악 트랙 출시 시의 쿨스타트 문제를 해결하기 위해 오디오 및 사용자 데이터를 활용한다.
• 청취 이력과 인구통계학적 특징을 사용자 임베딩에 통합함으로써 사용자 선호도 모델링을 향상시킨다.
• 사용자 임베딩을 앵커로 사용하는 메트릭 러닝 프레임워크를 개발하여 오디오 콘텐츠에서 분류 가능한 사운드 임베딩을 학습한다.
• 학습된 사운드 임베딩의 일반화 능력을 음악 추천 및 장르 분류 작업 전반에 걸쳐 평가한다.
• 사용자 기반 앵커 메트릭 러닝이 오디오 전용 기준 모델보다 더 효과적인 사운드 표현을 도출함을 입증한다.

제안 방법

• 청취 이력과 인구통계학적 정보로부터 40차원 사용자 임베딩(UE)을 생성하기 위해 유튜브DNN 기반 아키텍처를 사용자 브랜치에 적용한다.
• 명시적 및 암시적 피드백(예: 플레이리스트 추가)을 사용자 브랜치의 감독 신호로 활용하며, 분류 작업을 위해 크로스 엔트로피 손실을 적용한다.
• 좋아요/싫어요 트랙의 사운드 임베딩을 비교하기 위해 두 타워 간에 가중치를 공유하는 시아네스 네트워크를 오디오 브랜치에 구현한다.
• 로그-멜 스펙트로그램을 시아네스 CNN에 입력하며, 각 컨볼루션 레이어 후에 ReLU 활성화 함수를 적용하고, 40차원 출력을 사운드 임베딩으로 삼는다.
• 삼중체 손실(대비 손실)을 사용한 메트릭 러닝을 적용하여, 좋아요 트랙의 임베딩을 사용자 임베딩에 가깝게, 싫어하는 트랙의 임베딩을 멀리 보낸다.
• 대규모 사용자-트랙 상호작용 데이터에서 시아네스 네트워크를 효율적으로 최적화하기 위해 훈련 중에 음성 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 포괄적인 청취 이력과 인구통계학적 정보로부터 유도된 사용자 임베딩이 콘텐츠 기반 추천을 위한 사운드 임베딩의 품질을 향상시키는가?
• RQ2 메트릭 러닝에서 사용자 임베딩을 앵커로 사용할 경우, 오디오 전용 학습 대비 사운드 임베딩의 분류 능력이 향상되는가?
• RQ3 학습된 사운드 임베딩이 음악 장르 분류와 같은 후행 작업으로 일반화되는 정도는 어떠한가?
• RQ4 컨텍스트 윈도우 길이(예: 10초)가 사운드 임베딩 모델 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 모델이 음악 추천 및 장르 분류 모두에서 기존 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• 제안된 모델은 6000만 건의 사용자-트랙 상호작용을 포함한 대규모 데이터셋에서 정밀도 0.773, AUC 0.849를 기록하며 기준 모델들을 능가했다.
• 장르 분류 작업에서, 모델은 GTZAN 데이터셋에서 SVM 정확도를 AE 없이 0.7653에서 0.8013으로 향상시켰고, FMA-small에서는 0.5918에서 0.6148로 상승시켰다.
• MIREX 2020 장르 분류 과제에서 평균 정확도 0.7474를 기록했으며, 컨트리, 랩/힙합, 케이팝 발라드 장르 분류에서 최고 성능을 보였다.
• 컨텍스트 윈도우를 10초로 연장함으로써 정밀도와 AUC가 모두 향상되어 더 긴 오디오 컨텍스트가 임베딩 품질을 향상시킨다는 것을 시사했다.
• 사용자 기반 앵커 메트릭 러닝을 통해 학습된 사운드 임베딩는 추천 및 분류 작업 전반에 걸쳐 잘 일반화되었으며, 강력한 전이 가능성(transferability)을 보였다.
• 모델의 성능은 다양한 음악 장르에서 뛰어나게 유지되었으며, 특히 케이팝과 랩/힙합에서 뛰어난 성능을 보여, 장르 특화 오디오 패tern에 민감함을 보였다.