[논문 리뷰] RARD II: The 94 Million Related-Article Recommendation Dataset

Joeran Beel, Barry Smyth외 1명|arXiv (Cornell University)|2018. 07. 18.

Recommender Systems and Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 디지털 도서관에서 운영되는 프로덕션 추천 시스템인 Mr. DLib에서 유래한 9400만 건의 관련 논문 추천 데이터셋인 RARD II를 소개한다. 이 데이터셋은 암시적 평가 외에도 풍부한 실제 로그를 제공하여 정보 검색 시스템에서 알고리즘 성능 및 메타러닝 분석을 위한 고도화된 연구를 가능하게 한다.

ABSTRACT

The main contribution of this paper is to introduce and describe a new recommender-systems dataset (RARD II). It is based on data from Mr. DLib, a recommender-system as-a-service in the digital library and reference-management-software domain. As such, RARD II complements datasets from other domains such as books, movies, and music. The dataset encompasses 94m recommendations, delivered in the two years from September 2016 to September 2018. The dataset covers an item-space of 24m unique items. RARD II provides a range of rich recommendation data, beyond conventional ratings. For example, in addition to the usual (implicit) ratings matrices, RARD II includes the original recommendation logs, which provide a unique insight into many aspects of the algorithms that generated the recommendations. The logs enable researchers to conduct various analyses about a real-world recommender system. This includes the evaluation of meta-learning approaches for predicting algorithm performance. In this paper, we summarise the key features of this dataset release, describe how it was generated and discuss some of its unique features. Compared to its predecessor RARD, RARD II contains 64% more recommendations, 187% more features (algorithms, parameters, and statistics), 50% more clicks, 140% more documents, and one additional service partner (JabRef).

연구 동기 및 목표

• 디지털 도서관 및 학술 문헌 분야에서 대규모 실세계 추천 데이터셋의 부족을 보완하기 위해.
• 연구자들이 추천 외에도 알고리즘 결정 과정과 시스템 로그를 포함한 종합적인 데이터셋을 확보할 수 있도록 하기 위해.
• 추천 시스템 성능 예측을 위한 메타러닝 접근법의 평가 및 개발을 지원하기 위해.
• 이전 버전인 RARD에 비해 훨씬 더 많은 데이터, 기능, 시스템 통합 포인트를 제공함으로써 이를 확장하기 위해.
• 실제 운영 환경에서 알고리즘 행동, 파라미터 영향, 사용자 상호작용 패턴에 대한 세밀한 분석을 가능하게 하기 위해.

제안 방법

• 2016년 9월부터 2018년 9월까지 24개월 동안 Mr. DLib가 생성한 9400만 건의 추천 기록을 수집.
• 알고리즘 식별자, 파라미터 설정, 성능 통계 등 추천 시스템의 세부 로그를 통합.
• JabRef를 포함한 4개의 서비스 파artner로부터의 데이터 집합으로, 데이터셋의 다양성과 커버리지 확대.
• RARD 대비 187% 더 많은 알고리즘 기능, 파라미터, 통계를 포함하는 풍부한 기능 공간 구축.
• 클릭과 같은 암시적 피드백과 완전한 추천 로그를 포함하여 후행 분석을 가능하게 함.
• 표준 평가 외에도 메타러닝 및 알고리즘 선택 연구를 지원하도록 데이터셋 설계.

실험 결과

연구 질문

• RQ1 실세계 추천 로그는 알고리즘 선택을 위한 메타러닝 모델 분석 및 개선에 어떻게 활용될 수 있는가?
• RQ2 대규모 실세계 운영 수준의 로그에서 알고리즘 성능 및 파라미터 민감도에 대한 어떤 통찰을 얻을 수 있는가?
• RQ3 다양한 학술 문서 유형과 사용자 상호작용 패턴에서 서로 다른 추천 알고리즘이 어떻게 성능을 발휘하는가?
• RQ4 완전한 시스템 로그 포함 여부가 추천 시스템 평가의 타당성과 깊이에 얼마나 기여하는가?
• RQ5 RARD II는 스케일, 기능 풍부성, 디지털 도서관에서의 실세계 적용 가능성 측면에서 기존 데이터셋과 어떻게 비교되는가?

주요 결과

• RARD II는 RARD 대비 64% 증가한 9400만 건의 추천을 포함하고 있다.
• RARD 대비 140% 더 많은 고유 문서와 50% 더 많은 사용자 클릭 기록을 포함하고 있다.
• 기능 공간이 187% 확장되어 더 많은 알고리즘, 파라미터, 성능 지표를 포함하고 있다.
• JabRef라는 추가 서비스 파artner가 통합되어 데이터셋의 다양성과 실세계 적용 가능성 향상.
• 완전한 추천 로그 포함으로 알고리즘 행동 분석 및 성능 예측의 세밀한 분석이 가능해졌다.
• 학술 추천 시스템에서 메타러닝, 알고리즘 선택, 실세계 평가 연구를 위한 고도화된 연구 지원 가능.