[論文レビュー] One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

Andrew Collins, Dominika Tkaczyk+1 more|arXiv (Cornell University)|May 30, 2018

Recommender Systems and Techniques参考文献 15被引用数 9

ひとこと要約

本論文では、データ全体で最良のアルゴリズムを1つ選ぶのではなく、個々のユーザ・アイテムペアごとに最適な推薦アルゴリズムを選択する（マイクロレベル選択）メタラーニング推薦システムを提案する。SVD++のRMSE（100K：0.973 vs. 0.942；1M：0.908 vs. 0.887）を上回ることはなかったが、理論的に完璧なマイクロレベルメタラーナーが両データセットでRMSEを25.5％改善できる可能性を示しており、インスタンス固有のアルゴリズム選択の潜在的可能性を強調している。

ABSTRACT

The effectiveness of recommendation algorithms is typically assessed with evaluation metrics such as root mean square error, F1, or click through rates, calculated over entire datasets. The best algorithm is typically chosen based on these overall metrics. However, there is no single-best algorithm for all users, items, and contexts. Choosing a single algorithm based on overall evaluation results is not optimal. In this paper, we propose a meta-learning-based approach to recommendation, which aims to select the best algorithm for each user-item pair. We evaluate our approach using the MovieLens 100K and 1M datasets. Our approach (RMSE, 100K: 0.973; 1M: 0.908) did not outperform the single-best algorithm, SVD++ (RMSE, 100K: 0.942; 1M: 0.887). We also develop a distinction between meta-learners that operate per-instance (micro-level), per-data subset (mid-level), and per-dataset (global level). Our evaluation shows that a hypothetically perfect micro-level meta-learner would improve RMSE by 25.5% for the MovieLens 100K and 1M datasets, compared to the overall-best algorithms used.

研究の動機と目的

• グローバル指標に基づいて1つの推薦アルゴリズムを選択する方法の限界に対処する。これは、すべてのユーザ・アイテムペアに適しているとは限らない。
• アルゴリズム選択を、データセットやサブセットレベルではなく、個々のユーザ・アイテムペアレベル（マイクロレベル）で最適化できるかを検討する。
• 動的に各推薦インスタンスに対して最良のアルゴリズムを選択するメタラーナーの実現可能性と潜在的な利点を評価する。
• マイクロレベル（個別インスタンス）、ミッドレベル（データサブセット）、グローバルレベル（データセット全体）の粒度におけるメタラーニング戦略の違いを明確にし、比較する。

提案手法

• 本手法は、ユーザ・アイテムペアの特徴を用いてトレーニングされたメタラーナーを用い、特定のペアに対して最も性能を発揮する推薦アルゴリズムを予測する。
• 履歴のパフォーマンスデータを用いて、SVD++、ユーザベース、アイテムベース、その他のアルゴリズムを、個々のインスタンスごとに評価する。
• スパarsity、人気度、相互作用パターンなどのユーザおよびアイテムの特徴から導出された特徴を用いて、メタラーナーをトレーニングする。
• マイクロレベル（個々のペア）、ミッドレベル（データサブセット）、グローバルレベル（全データセット）の3レベルで性能を比較し、粒度の影響を評価する。
• RMSE、F1、クリックスルーレートを評価指標として用い、各レベルでのアルゴリズムパフォーマンスを測定する。
• 理論的な上限を推定するため、仮想的な完全なマイクロレベルメタラーナーをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 個々のユーザ・アイテムペアに対して最良のアルゴリズムを選択するメタラーニングシステムは、グローバルに1つのアルゴリズムを採用するのと比較して、推薦パフォーマンスを向上させられるか？
• RQ2 グローバルまたはミッドレベル戦略と比較して、マイクロレベルアルゴリズム選択の理論的パフォーマンス上限は何か？
• RQ3 メタラーナーのパフォーマンスは、マイクロ、ミッド、グローバルのどの粒度レベルでもどのように変化するか？
• RQ4 完全なマイクロレベルメタラーナーが実装された場合、RMSEはどの程度改善されるか？
• RQ5 ユーザおよびアイテムの特徴は、インスタンスレベルでの最適なアルゴリズム選択にどのように影響するか？

主な発見

• 提案されたメタラーナーは、MovieLens 100Kおよび1Mデータセットにおいて、SVD++を上回ることはできず、それぞれRMSEが0.973および0.908を記録した。
• SVD++は依然として最良のパフォーマンスを示し、RMSEが0.942（100K）および0.887（1M）を記録し、メタラーナーを上回った。
• 仮想的な完全なマイクロレベルメタラーナーは、両データセットにおいて最良の単一アルゴリズムと比較してRMSEを25.5％削減できる。
• 本研究は、マイクロレベル選択が理論的に大きな利点を有することを確認しており、現実の実装が未だ到達していないとしても同様に有効である。
• マイクロ、ミッド、グローバルレベルのメタラーニング戦略の違いを明らかにしたところ、より細かい粒度の選択戦略は高い潜在的利点を有するが、実装は現実的には困難であることが示された。