[論文レビュー] On the Generalizability and Predictability of Recommender Systems

Duncan C. McElfresh, Sujay Khandagale+3 more|arXiv (Cornell University)|Jun 23, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

本論文では、データセットのメタ特徴量を用いて、新しいデータセットに対して最適なレコメンデーションシステムアルゴリズムとハイパーパrameterを予測するメタラーニングフレームワークRecZillaを提案する。85のデータセットと315のメトリクスで24のアルゴリズムを大規模に比較した研究を通じて、性能はデータセットとメトリクスの両方に強く依存するが、メタ特徴量がアルゴリズムの成功を強く予測できることを示し、RecZillaは未学習データにおいて高い精度で人為的作業を大幅に削減できる。

ABSTRACT

While other areas of machine learning have seen more and more automation, designing a high-performing recommender system still requires a high level of human effort. Furthermore, recent work has shown that modern recommender system algorithms do not always improve over well-tuned baselines. A natural follow-up question is, "how do we choose the right algorithm for a new dataset and performance metric?" In this work, we start by giving the first large-scale study of recommender system approaches by comparing 18 algorithms and 100 sets of hyperparameters across 85 datasets and 315 metrics. We find that the best algorithms and hyperparameters are highly dependent on the dataset and performance metric, however, there are also strong correlations between the performance of each algorithm and various meta-features of the datasets. Motivated by these findings, we create RecZilla, a meta-learning approach to recommender systems that uses a model to predict the best algorithm and hyperparameters for new, unseen datasets. By using far more meta-training data than prior work, RecZilla is able to substantially reduce the level of human involvement when faced with a new recommender system application. We not only release our code and pretrained RecZilla models, but also all of our raw experimental results, so that practitioners can train a RecZilla model for their desired performance metric: https://github.com/naszilla/reczilla.

研究の動機と目的

• レコメンデーションシステムアルゴリズムが異なるデータセットやメトリクスに一般化するかを調査すること。
• アルゴリズムのパフォーマンス、実行時間、データセットの難易度を予測可能なメタ特徴量を同定すること。
• スケーラブルでメトリクスに依存しないメタラーニングシステムを構築し、新しいデータセットに対してアルゴリズムとハイパーパrameterの選択を自動化すること。
• コミュニティ利用を目的として、実験データ、コード、事前学習済みモデルを含む公開リポジトリをリリースすること。

提案手法

• 著者らは、10時間の時間制限内で1組あたり85のデータセットと315のパフォーマンスメトリクスで、最大100のハイパーパラメータ設定を含む24のレコメンデーションアルゴリズムを大規模に実験的に比較した。
• 各データセットから、ユーザー数・アイテム数、レーティング分布の統計量、インタラクション行列のスペクトル的性質を含む18種類のメタ特徴量を抽出した。
• 多様なデータセットとメトリクスにおけるアルゴリズムパフォーマンスを含むメタデータセットを用いて、メタラーニングパイプラインを構築し、新しい入力に対して最適なアルゴリズムとハイパーパラメータを予測できるようにした。
• RecZillaモデルは、XGBoostや他のメタラーナーを用いて、メタ特徴量に基づき最適なアルゴリズムとハイパーパラメータを予測する。メタトレーニングセットのサイズと特徴量数のアブレーションスタディも実施した。
• 標準的なメトリクス（例：PREC@10, NDCG@10）向けの事前学習モデルのサポートに加え、ユーザーが提供するメトリクスを用いたファインチューニングも可能である。
• 著者らは、統一されたAPI、生の結果、事前学習済みモデルを含む公開コードベースをhttps://github.com/naszilla/reczillaにリリースした。

実験結果

リサーチクエスチョン

• RQ1 レコメンデーションシステムアルゴリズムのパフォーマンスは、異なるデータセットやユーザー定義メトリクスによってどのように変化するか？
• RQ2 データセットのメタ特徴量は、アルゴリズムのパフォーマンス、実行時間、最適なモデルを見つける難易度を予測できるか？
• RQ3 メタ特徴量と特定のデータセットにおける最良のアルゴリズムまたはハイパーパラメータ設定の間には有意な相関があるか？
• RQ4 メタトレーニングデータセットのサイズが、メタラーナーが最適なアルゴリズムを選択する性能に与える影響は何か？
• RQ5 PREC@10に限定されない、メトリクスに依存しない、ハイパーパラメータに配慮したメタラーニングシステムRecZillaは、最小限の人的介入で手動チューニングを上回る性能を示せるか？

主な発見

• 最適なレコメンデーションシステムアルゴリズムとハイパーパラメータは、データセットやパフォーマンスメトリクスによって顕著に異なるため、普遍的に最適な選択肢は存在しない。
• ユーザー数・アイテム数、レーティング分布の百分位数、インタラクション行列のスペクトル的性質といったデータセットのメタ特徴量は、アルゴリズムパフォーマンスの強力な予測要因である。
• RecZillaは、未学習のデータセットにおいて最適なアルゴリズムとハイパーパラメータを高い精度で予測でき、人為的チューニングの必要性を顕著に低減する。
• より大きなメタトレーニングセットを用いることでパフォーマンスが著しく向上し、最良の結果を得るにはメタ特徴量の数が10〜40の範囲に最適であることが分かった。
• XGBoostベースのメタラーナーは線形モデルやランダムベースラインを上回り、より多くのメタデータセットが含まれるほど性能向上が顕著になる。
• フレームワークはメトリクスに一般化する：RecZillaはPREC@10だけでなくCOVERAGE@50やHIT-RATE@5の学習でも強力な性能を維持する。