[논문 리뷰] One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

Andrew Collins, Dominika Tkaczyk외 1명|arXiv (Cornell University)|2018. 05. 30.

Recommender Systems and Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 전체 데이터셋에서 단일 최적 알고리즘을 사용하는 것에 의존하는 대신, 각 개별 사용자-아이템 쌍에 대해 최적의 추천 알고리즘을 선택하는 마이크로 수준 선택을 수행하는 메타러닝 기반 추천 시스템을 제안한다. 비록 RMSE에서 SVD++보다 성능이 떨어지지는 않았지만(100K: 0.973 vs. 0.942; 1M: 0.908 vs. 0.887), 이론적으로 완벽한 마이크로 수준 메타러닝 학습자가 구현될 경우 두 데이터셋 모두에서 RMSE를 25.5% 향상시킬 수 있음을 보여주며, 개별 인스턴스 기반 알고리즘 선택의 잠재력을 입증한다.

ABSTRACT

The effectiveness of recommendation algorithms is typically assessed with evaluation metrics such as root mean square error, F1, or click through rates, calculated over entire datasets. The best algorithm is typically chosen based on these overall metrics. However, there is no single-best algorithm for all users, items, and contexts. Choosing a single algorithm based on overall evaluation results is not optimal. In this paper, we propose a meta-learning-based approach to recommendation, which aims to select the best algorithm for each user-item pair. We evaluate our approach using the MovieLens 100K and 1M datasets. Our approach (RMSE, 100K: 0.973; 1M: 0.908) did not outperform the single-best algorithm, SVD++ (RMSE, 100K: 0.942; 1M: 0.887). We also develop a distinction between meta-learners that operate per-instance (micro-level), per-data subset (mid-level), and per-dataset (global level). Our evaluation shows that a hypothetically perfect micro-level meta-learner would improve RMSE by 25.5% for the MovieLens 100K and 1M datasets, compared to the overall-best algorithms used.

연구 동기 및 목표

• 전체 데이터셋 기반의 전역 메트릭에 의존하는 단일 추천 알고리즘 선택의 한계를 해결하기 위해.
• 알고리즘 선택을 데이터셋 또는 서브셋 수준이 아닌, 개별 사용자-아이템 쌍 수준(마이크로 수준)에서 최적화할 수 있는지 탐색하기 위해.
• 각 추천 인스턴스에 대해 최적의 알고리즘을 동적으로 선택하는 메타러너의 실현 가능성과 잠재적 이점을 평가하기 위해.
• 마이크로 수준(개별 인스턴스), 미드 수준(데이터 서브셋), 글로벌 수준(전체 데이터셋)의 세부 정도에서 메타러닝 전략을 구분하고 비교하기 위해.

제안 방법

• 사용자-아이템 쌍의 특징을 기반으로 훈련된 메타러너가 특정 쌍에 대해 가장 잘 작동할 알고리즘을 예측한다.
• 역사적 성능 데이터를 기반으로 각 인스턴스별로 다수의 알고리즘(SVD++, 사용자 기반, 아이템 기반 등)을 평가한다.
• 희소성, 인기도, 상호작용 패턴 등의 사용자 및 아이템 특성에서 유도된 특징을 사용해 메타러너를 훈련한다.
• 마이크로 수준(개별 쌍), 미드 수준(데이터 서브셋), 글로벌 수준(전체 데이터셋)의 성능을 비교하여 세분화 정도의 영향을 평가한다.
• 각 수준에서 알고리즘 성능을 평가하기 위해 RMSE, F1, 클릭스루율을 평가 지표로 사용한다.
• 이론적 최상위 성능을 추정하기 위해 이상적인 마이크로 수준 메타러너를 모델링한다.

실험 결과

연구 질문

• RQ1 단일 글로벌 알고리즘을 사용하는 것보다, 각 사용자-아이템 쌍 별로 최적의 알고리즘을 선택하는 메타러닝 시스템이 추천 성능을 향상시킬 수 있는가?
• RQ2 글로벌 또는 미드 수준 전략에 비해 마이크로 수준 알고리즘 선택의 이론적 성능 상한선은 무엇인가?
• RQ3 마이크로, 미드, 글로벌 수준의 세분화 정도에서 메타러너의 성능는 어떻게 달라지는가?
• RQ4 완벽한 마이크로 수준 메타러너가 구현된다면 RMSE는 얼마나 향상될 수 있는가?
• RQ5 사용자 및 아이템 특성은 인스턴스 수준에서 최적의 알고리즘 선택에 어떻게 영향을 미치는가?

주요 결과

• 제안된 메타러너는 MovieLens 100K 및 1M 데이터셋에서 SVD++보다 성능이 열등했으며, 각각 RMSE 0.973 및 0.908을 기록했다.
• SVD++는 여전히 가장 뛰어난 단일 알고리즘으로, 100K 데이터셋에서 RMSE 0.942, 1M 데이터셋에서 RMSE 0.887을 기록하며 메타러너를 앞서갔다.
• 이론적으로 완벽한 마이크로 수준 메타러너는 두 데이터셋 모두에서 최적의 단일 알고리즘 대비 RMSE를 25.5% 향상시킬 수 있다.
• 이 연구는 마이크로 수준 선택이 심각한 이론적 이점을 제공함을 확인했으며, 현재의 구현이 성능에 한계를 가질 수 있음에도 불구하고 그러한 잠재력을 지닌다.
• 마이크로-, 미드-, 글로벌 수준의 메타러닝 간의 차이는 더 세밀한 선택 전략이 더 높은 잠재력을 지닌다는 점을 드러내며, 실현 가능성은 실무에서 더 어렵다는 점을 시사한다.