[논문 리뷰] Content-driven Music Recommendation: Evolution, State of the Art, and Challenges

Yashar Deldjoo, Markus Schedl외 1명|arXiv (Cornell University)|2021. 07. 25.

Music and Audio Processing인용 수 10

한 줄 요약

이 종합 검토에서는 내용 기반 음악 추천 시스템을 체계적으로 분류하기 위해 신호, 임bedded 메타데이터, 전문가가 생성한 자료, 사용자가 생성한 자료, 衍생 콘텐츠의 다섯 층으로 이루어진 '양파 모델'을 제안한다. 이 프레임워크를 통해 55篇의 연구를 분석하여 다양성, 설명 가능성, 맥락 인식, 순차적 추천, 확장성, 추천 시작 문제의 여섯 핵심 과제를 밝혀내며, 衍생 콘텐츠, 인지 모델링, 공정성, 대화형 시스템 분야에서 해결되지 않은 거대 과제들을 강조한다.

ABSTRACT

The music domain is among the most important ones for adopting recommender systems technology. In contrast to most other recommendation domains, which predominantly rely on collaborative filtering (CF) techniques, music recommenders have traditionally embraced content-based (CB) approaches. In the past years, music recommendation models that leverage collaborative and content data -- which we refer to as content-driven models -- have been replacing pure CF or CB models. In this survey, we review 55 articles on content-driven music recommendation. Based on a thorough literature analysis, we first propose an onion model comprising five layers, each of which corresponds to a category of music content we identified: signal, embedded metadata, expert-generated content, user-generated content, and derivative content. We provide a detailed characterization of each category along several dimensions. Second, we identify six overarching challenges, according to which we organize our main discussion: increasing recommendation diversity and novelty, providing transparency and explanations, accomplishing context-awareness, recommending sequences of music, improving scalability and efficiency, and alleviating cold start. Each article addresses one or more of these challenges is categorized according to the content layers of our onion model, the article's goal(s), and main methodological choices. Furthermore, articles are discussed in temporal order to shed light on the evolution of content-driven music recommendation strategies. Finally, we provide our personal selection of the persisting grand challenges which are still waiting to be solved in future research endeavors.

연구 동기 및 목표

• 내용 기반 음악 추천(CDMR) 연구에 대한 체계적 분류의 증가하는 필요성을 해결하기 위해.
• 협업 신호와 콘텐츠 기반 신호를 통합함으로써 CDMR 모델의 진화를 식별하고 분석하기 위해.
• 다양성, 설명 가능성, 맥락 인식, 순차적 추천, 확장성, 추천 시작 문제 등의 핵심 과제가 해결되지 않은 상태임을 부각하기 위해.
• 다양한 추상 수준에서 음악 콘텐츠 유형을 조직화하기 위한 통합 프레임워크(양파 모델)를 제안하기 위해.
• 행동 모델링, 공정성, 대화형 시스템을 포함한 CDMR 분야의 지속적인 거대 과제를 식별하고 논의하기 위해.

제안 방법

• 신호(오디오 특징), 임베디드 메타데이터(예: ISWC, ISRC), 전문가가 생성한 자료(예: 장르, 분위기), 사용자가 생성한 자료(예: 태그, 플레이리스트), 衍생 콘텐츠(예: 리믹스, 커버)의 다섯 층으로 구성된 다섯 층의 양파 모델을 제안하여 음악 콘텐츠를 분류한다.
• 양파 모델의 시각에서 55편의 최신 CDMR 논문을 분석하여 각 논문을 콘텐츠 층, 연구 목표, 방법론적 접근 방식으로 분류한다.
• 다섯 가지의 핵심 과제에 따라 문헌을 정리한다: 다양성 및 신선함, 투명성/설명 가능성, 맥락 인식, 순차적 추천, 확장성/효율성, 추천 시작 문제.
• 모델 설계 및 콘텐츠 통합 전략의 진화를 추적하기 위해 CDMR 연구의 시간적 추세를 분석한다.
• 순수한 협업 필터링에서 벗어나 딥 러닝, 그래프 신경망, 다중모달 표현을 활용한 하이브리드 모델로의 방법론적 전환을 식별한다.
• 심리학 및 사회학의 통찰을 통합하여 향후 연구에서 인간의 의사결정 과정과 음악 추천의 공정성에 대한 이해를 높이기 위해 노력한다.

실험 결과

연구 질문

• RQ1 다양한 추상 수준에서 음악 콘텐츠를 어떻게 체계적으로 분류할 수 있으며, 이를 내용 기반 추천에 어떻게 활용할 수 있는가?
• RQ2 최근 10년간 내용 기반 음악 추천 분야에서 나타난 주요 방법론적 추세와 변화는 무엇인가?
• RQ3 오디오 특징, 사용자 태그, 衍생 작품 등의 다양한 유형의 음악 콘텐츠가 다양성, 설명 가능성, 추천 시작 문제 등의 핵심 과제 해결에 어떻게 기여하는가?
• RQ4 내용 기반 음악 추천 분야에서 가장 시급한 해결되지 않은 거대 과제는 무엇이며, 어떻게 해결할 수 있는가?
• RQ5 인간의 의사결정 과정을 설명하는 인지 및 심리학적 모델은 어떻게 음악 추천 시스템에 통합될 수 있는가?

주요 결과

• 양파 모델은 음악 콘텐츠를 다섯 가지 명확한 층으로 효과적으로 정리하며, 각 층은 추천 시스템에서 고유한 특성과 기능을 지닌다.
• 내용 기반 모델은 순수한 협업 필터링 또는 콘텐츠 기반 접근 방식을 대체하며, 하이브리드 모델이 현재 최첨단 기술을 지배하고 있다.
• 리믹스, 커버, 파러디 등 衍생 콘텐츠는 MRS 연구에서 여전히 크게 미비하게 다뤄져 있어 중요한 열린 과제로 남아 있다.
• 콘텐츠, 상호작용, 사용자 인식을 모두 고려한 다층적 다양성 및 신선함 측정 지표가 필수적이다.
• 음악 추천의 공정성 문제는 여전히 주요한 해결되지 않은 과제이며, 특히 아티스트와 사용자의 성별 및 기타 보호받는 속성에 대해 심각한 문제를 야기한다.
• 대화형 음악 추천 시스템(CMRS)은 유망한 분야이지만 아직 연구가 부족한 분야이며, 자연어 및 다중모달 상호작용을 통합하는 데서 특히 중요성이 높다.