[논문 리뷰] Sequential Skip Prediction with Few-shot in Streamed Music Contents

Sungkyun Chang, Seungjin Lee외 1명|arXiv (Cornell University)|2019. 01. 24.

Music and Audio Processing참고 문헌 12인용 수 5

한 줄 요약

이 논문은 음악 스트리밍 서비스에서 음성 특징과 사용자 상호작용 로그를 활용한 소수의 예시를 기반으로 한 순차적 스킵 예측 모델을 제안한다. 메트릭 학습과 순차 학습 접근 방식을 비교한 결과, 인과적 확장 컨볼루션과 하이웨이 활성화를 사용한 순차 학습이 메트릭 학습을 크게 능가하며, 검증 데이터에서 63.8%의 MAA를 달성했고, 쿼리 단계에서 전체 사용자 로그를 활용할 경우 성능 향상이 추가로 이루어졌다.

ABSTRACT

This paper provides an outline of the algorithms submitted for the WSDM Cup 2019 Spotify Sequential Skip Prediction Challenge (team name: mimbres). In the challenge, complete information including acoustic features and user interaction logs for the first half of a listening session is provided. Our goal is to predict whether the individual tracks in the second half of the session will be skipped or not, only given acoustic features. We proposed two different kinds of algorithms that were based on metric learning and sequence learning. The experimental results showed that the sequence learning approach performed significantly better than the metric learning approach. Moreover, we conducted additional experiments to find that significant performance gain can be achieved using complete user log information.

연구 동기 및 목표

• 스트리밍 음악 서비스에서 소수의 예시 학습을 통해, 청취 세션의 후반부에 음성 특징만 제공되는 상황에서 순차적 스킵 예측 문제를 해결하는 것.
• 부분 청취 세션에서 사용자 행동 패턴을 더 잘 포착하는 데 메트릭 학습이 아니라 순차 학습이 더 효과적인지 평가하는 것.
• 쿼리 단계에서 전체 사용자 상호작용 로그를 제공할 경우 스킵 예측 성능 향상 정도를 조사하는 것.
• 완전한 쿼리 정보를 기반으로 훈련된 교사 모델에서 지식 정복을 통해 학생 모델 성능 향상을 도모하는 것.

제안 방법

• 학습된 잠재 공간에서 지원 트랙과 쿼리 트랙 간의 쌍별 유사도를 계산하기 위해 관계 네트워크(RN)를 활용한 메트릭 학습 기반 모델을 제안한다.
• 유사도 점수 대신 스킵 레이블을 직접 예측하는 수정된 관계 네트워크(rnbc2-UE)를 도입하며, 사용자 선호도를 모델링하기 위해 추가 임bedding 레이어를 통합한다.
• 청취 시퀀스의 시간적 의존성을 모델링하기 위해 스택된 인과적 확장 컨볼루션 레이어와 하이웨이 또는 GLU 활성화 함수를 사용한 순차 학습 모델(seq1HL)을 개발한다.
• 지원과 쿼리에 대해 비인과적 인코더를 사용하여 장거리 컨텍스트를 포착하는 어텐션 강화 버전(att(seq1eH(S), seq1eH(Q)))을 제안한다.
• 순차 학습에는 이진 교차 엔트로피 손실, 메트릭 학습에는 평균 제곱오차 손실을 사용하며, Adam 옵timizer와 조기 정지 기법을 적용하여 모델을 훈련시킨다.
• 쿼리 단계에서 사용자 로그와 음성 특징을 모두 활용하여 완전한 정보를 제공하는 교사 모델을 훈련시어, 완전한 정보의 이점 평가를 수행한다.

실험 결과

연구 질문

• RQ1 쿼리 단계에서 음성 특징만 제공될 경우, 메트릭 학습이 스트리밍 음악의 스킵을 효과적으로 예측할 수 있는가?
• RQ2 시간적 모델링을 통한 순차 학습이 소수의 예시 학습 태스크에서 메트릭 학습을 능가하는가?
• RQ3 쿼리 단계에서 전체 사용자 상호작용 로그를 제공할 경우 성능 향상은 어느 정도 달성 가능한가?
• RQ4 완전한 쿼리 데이터로 훈련된 교사 모델에서의 지식 정복이 학생 모델 성능 향상에 기여하는가?

주요 결과

• 순차 학습 기반 모델(seq1HL)은 검증 데이터에서 63.8%의 MAA를 달성했으며, 최고의 메트릭 학습 모델(rnbc2-UE)의 57.4% MAA를 크게 앞서며 6.4%포인트 향상된 성능을 보였다.
• 순차 학습 접근 방식은 최소 5.9%포인트 이상의 성능 향상을 보이며, 시간적 모델링이 스킵 예측에 더 효과적임을 시사한다.
• 어텐션 기반 모델(att(seq1eH(S), seq1eH(Q)))는 63.3% MAA를 기록했으며, 어텐션 메커니즘이 효과적일 수 있음을 보여주지만, 더 단순한 인과 아키텍처에 비해 열등한 성능을 보였다.
• 완전한 쿼리 정보(사용자 로그 + 음성 특징)를 기반으로 훈련된 교사 모델은 84.9% MAA를 달성했으며, 최고의 학생 모델 대비 21.1%포인트 향상된 성능을 보여, 완전한 쿼리 데이터의 가치를 입증했다.
• 제거 분석 결과, 사용자 선호도 임베딩 추가 및 직접 레이블 예측 기능을 통합함으로써 메트릭 학습 성능이 기본 모델 대비 1.4%포인트 향상되었다.
• 성능이 가장 뛰어난 모델(seq1HL)은 확장 컨볼루션과 하이웨이 유닛을 사용한 이중 스택 아키텍처를 활용하며, 더 깊은 시간적 모델링이 성능 향상에 기여함을 입증했다.