[論文レビュー] RARD II: The 94 Million Related-Article Recommendation Dataset

Joeran Beel, Barry Smyth+1 more|arXiv (Cornell University)|Jul 18, 2018

Recommender Systems and Techniques参考文献 24被引用数 6

ひとこと要約

本論文は、デジタル図書館におけるプロダクション推奨システム「Mr. DLib」から得られた、9400万件のアイテムを含む関連記事推薦データセットRARD IIを紹介する。このデータセットは、暗黙的評価を超える豊富な実世界のログを提供し、情報検索システムにおけるアルゴリズムのパフォーマンス分析やメタラーニングの高度な分析を可能にする。

ABSTRACT

The main contribution of this paper is to introduce and describe a new recommender-systems dataset (RARD II). It is based on data from Mr. DLib, a recommender-system as-a-service in the digital library and reference-management-software domain. As such, RARD II complements datasets from other domains such as books, movies, and music. The dataset encompasses 94m recommendations, delivered in the two years from September 2016 to September 2018. The dataset covers an item-space of 24m unique items. RARD II provides a range of rich recommendation data, beyond conventional ratings. For example, in addition to the usual (implicit) ratings matrices, RARD II includes the original recommendation logs, which provide a unique insight into many aspects of the algorithms that generated the recommendations. The logs enable researchers to conduct various analyses about a real-world recommender system. This includes the evaluation of meta-learning approaches for predicting algorithm performance. In this paper, we summarise the key features of this dataset release, describe how it was generated and discuss some of its unique features. Compared to its predecessor RARD, RARD II contains 64% more recommendations, 187% more features (algorithms, parameters, and statistics), 50% more clicks, 140% more documents, and one additional service partner (JabRef).

研究の動機と目的

• デジタル図書館および学術文書分野における大規模で実世界の推薦データセットの不足を解消すること。
• 研究者が推薦の背後にあるアルゴリズム的意思決定とシステムログを含めた包括的なデータセットを入手できるようにすること。
• 推奨システムのパフォーマンスを予測するためのメタラーニングアプローチの評価と開発を支援すること。
• 前回のRARDデータセットに比べ、はるかに多くのデータ、特徴量、システム統合ポイントを追加して拡張すること。
• 本番環境におけるアルゴリズムの挙動、パrameterの影響、ユーザーアクセスパターンの詳細な分析を可能にすること。

提案手法

• 2016年9月から2018年9月までの24か月間にわたり、Mr. DLibが生成した9400万件の推薦を収集した。
• アルゴリズム識別子、パrameter設定、パフォーマンス統計を含む、推奨システムからの詳細なログを統合した。
• JabRefを含む4つのサービスパートナーからのデータを集約し、データセットの多様性とカバー範囲を拡大した。
• RARDに比べ、187%多いアルゴリズム的特徴量、パrameter、統計情報を含む包括的な特徴空間を構築した。
• クリックなどの暗黙的フィードバックに加え、後向き分析が可能な完全な推薦ログを含めた。
• 標準的な評価に加え、メタラーニングやアルゴリズム選択に関する研究を支援できるようにデータセットを設計した。

実験結果

リサーチクエスチョン

• RQ1 実世界の推薦ログは、アルゴリズム選択のためのメタラーニングモデルの分析と改善にどのように活用できるか？
• RQ2 大規模で本番環境レベルのログから、アルゴリズムのパフォーマンスとパrameter感受性に関するどのような知見が得られるか？
• RQ3 異なる推薦アルゴリズムは、多様な学術文書タイプやユーザーアクセスパターンにおいて、どのように性能を発揮するか？
• RQ4 完全なシステムログの含めることで、推薦システムの評価の妥当性と深さはどの程度向上するか？
• RQ5 RARD IIは、スケール、特徴量の豊富さ、およびデジタル図書館における実世界の適用性という点で、既存のデータセットと比べてどのように差をつけるか？

主な発見

• RARD IIには9400万件の推薦が含まれており、前回のRARDに比べて64%の増加である。
• RARDに比べ、140%多いユニークな文書と50%多いユーザークリックが含まれている。
• 特徴空間は187%拡大され、より多くのアルゴリズム、パrameter、パフォーマンス指標が統合された。
• JabRefという追加のサービスパートナーが統合され、データセットの多様性と実世界の関連性が向上した。
• 完全な推薦ログの含めることで、アルゴリズム挙動の詳細な分析とパフォーマンス予測が可能になった。
• 本データセットは、メタラーニング、アルゴリズム選択、学術推奨システムにおける本番環境評価に関する高度な研究を支援する。