[논문 리뷰] Contemporary Recommendation Systems on Big Data and Their Applications: A Survey

Xia, Ziyuan, Sun, Anchen외 4명|arXiv (Cornell University)|2022. 05. 31.

Technology and Data Analysis참고 문헌 98인용 수 11

한 줄 요약

이 종합적 서베이는 빅데이터 기반 현대 추천 시스템에 대한 포괄적인 분석을 제공하며, 콘텐츠 기반, 협업 필터링 기반, 지식 기반, 하이브리드 접근 방식으로 분류한다. Hadoop와 Spark와 같은 빅데이터 처리 프레임워크를 검토하고, 데이터 희소성 및 확장성과 같은 과제를 강조하며, 추천의 다양성과 시스템 효율성 향상 분야에서의 향후 연구 기회를 규명한다.

ABSTRACT

This survey paper conducts a comprehensive analysis of the evolution and contemporary landscape of recommendation systems, which have been extensively incorporated across a myriad of web applications. It delves into the progression of personalized recommendation methodologies tailored for online products or services, organizing the array of recommendation techniques into four main categories: content-based, collaborative filtering, knowledge-based, and hybrid approaches, each designed to cater to specific contexts. The document provides an in-depth review of both the historical underpinnings and the cutting-edge innovations in the domain of recommendation systems, with a special focus on implementations leveraging big data analytics. The paper also highlights the utilization of prominent datasets such as MovieLens, Amazon Reviews, Netflix Prize, Last.fm, and Yelp in evaluating recommendation algorithms. It further outlines and explores the predominant challenges encountered in the current generation of recommendation systems, including issues related to data sparsity, scalability, and the imperative for diversified recommendation outputs. The survey underscores these challenges as promising directions for subsequent research endeavors within the discipline. Additionally, the paper examines various real-life applications driven by recommendation systems, addressing the hurdles involved in seamlessly integrating these systems into everyday life. Ultimately, the survey underscores how the advancements in recommendation systems, propelled by big data technologies, have the potential to significantly enhance real-world experiences.

연구 동기 및 목표

• 빅데이터 환경에서 추천 시스템의 진화와 현재 상태를 체계적으로 검토하는 것.
• 콘텐츠 기반, 협업 필터링 기반, 지식 기반, 하이브리드 기반 시스템을 포함한 네 가지 주요 추천 기법을 분류하고 분석하는 것.
• Hadoop와 Spark와 같은 빅데이터 플랫폼이 확장성 있고 효율적인 추천 처리를 가능하게 하는 데서의 역할을 검토하는 것.
• 데이터 희소성, 확장성, 추천 다양성과 같은 현대 추천 시스템의 핵심 과제를 식별하고 논의하는 것.
• 추천 시스템 성능과 개인화를 향상시키기 위한 열린 연구 문제와 향후 연구 방향을 부각하는 것.

제안 방법

• 콘텐츠 기반, 협업 필터링 기반, 지식 기반, 하이브리드 기반으로 추천 시스템을 네 가지 주요 유형으로 분류하고, 기술적 설명을 상세히 제공한다.
• Hadoop와 Apache Spark와 같은 빅데이터 처리 프레임워크의 사용을 분석하여 확장 가능한 추천 시스템 배포에 기여하는 바를 설명한다.
• MapReduce 프로그래밍 모델과 그 분산 클러스터에서 추천 알고리즘을 병렬화하는 데의 적용을 설명한다.
• Hadoop 생태계와 Spark의 메모리 기반 처리 기능을 기술하며, 기존 Hadoop 대비 속도와 유연성에서의 우수성을 강조한다.
• 데이터 처리 파이프라인: 데이터 수집, 통합, 클라우드 컴퓨팅을 이용한 분석, 그리고 실행 가능한 통찰으로의 해석을 검토한다.
• 코사인 유사도 및 조정된 코사인 유사도와 같은 유사도 측정 기준을 사용하여 사용자 기반과 아이템 기반 협업 필터링을 비교한다.

실험 결과

연구 질문

• RQ1 추천 시스템은 기존 아키텍처에서 현대의 빅데이터 기반 아키텍처로 어떻게 진화해 왔는가?
• RQ2 콘텐츠 기반, 협업 필터링 기반, 지식 기반, 하이브리드 기반 추천 기법의 강점과 한계는 무엇인가?
• RQ3 Hadoop와 Spark와 같은 빅데이터 플랫폼은 현대 추천 시스템의 확장성과 성능을 어떻게 향상시키는가?
• RQ4 데이터 희소성, 쿨스타트 문제, 확장성과 같은 핵심 과제들은 현대 추천 시스템을 어떻게 저해하는가?
• RQ5 추천 시스템의 다양성, 확장성, 개인화의 한계를 해결하기 위한 향후 연구 방향은 무엇인가?

주요 결과

• 콘텐츠 기반 추천 시스템은 개인 사용자 선호도를 효과적으로 포착하지만, 수동으로 설계된 특징에 의존함으로써 사용자 관심의 확장에 한계가 있다.
• 특히 아이템 기반 변형이 사용자 기반 접근보다 더 우수한 성능을 보이며, 확장성과 희소성 영향을 줄이는 데 유리하다.
• Spark와 같은 빅데이터 프레임워크는 메모리 기반 계산과 SQL, 머신러닝, 스트리밍 처리를 통합한 처리 방식 덕분에 특정 워크로드에서 Hadoop 대비 최대 100배 빠른 처리 속도를 제공한다.
• Hadoop와 Spark는 높은 호환성을 가지며, Spark는 HDFS를 영구 저장소로 사용하고 YARN을 자원 관리에 사용함으로써 대규모 데이터를 위한 하이브리드 배포를 가능하게 한다.
• 장점이 있음에도 불구하고, 협업 필터링 시스템은 여전히 데이터 희소성과 쿨스타트 문제와 같은 과제를 겪으며, 신규 사용자나 신규 아이템에 대해 특히 어려움을 겪는다.
• 이 서베이는 데이터 희소성, 확장성, 추천 다양성과 같은 핵심 과제를 식별하며, 추천 시스템 분야에서 향후 연구에 매우 유망한 분야로 간주한다.