[論文レビュー] Exploring Data Splitting Strategies for the Evaluation of Recommendation Models

Zaiqiao Meng, Richard McCreadie+2 more|arXiv (Cornell University)|Jul 26, 2020

Recommender Systems and Techniques参考文献 26被引用数 4

ひとこと要約

この論文は、異なるデータ分割戦略が推薦モデルの評価とランク付けに顕著に影響することを調査しており、同じデータセットとメトリクスを使用しても、同じモデルが異なる戦略で異なるランク付けを受ける可能性があることを示している。著者らは、leave-one-last や時系列ユーザー分割といった戦略が、将来の情報を漏洩させ、信頼性の低い比較を引き起こす可能性があることを示し、公平な評価のための標準化された時系列グローバル分割を標準として採用すべきだと提言している。

ABSTRACT

Effective methodologies for evaluating recommender systems are critical, so that such systems can be compared in a sound manner. A commonly overlooked aspect of recommender system evaluation is the selection of the data splitting strategy. In this paper, we both show that there is no standard splitting strategy and that the selection of splitting strategy can have a strong impact on the ranking of recommender systems. In particular, we perform experiments comparing three common splitting strategies, examining their impact over seven state-of-the-art recommendation models for two datasets. Our results demonstrate that the splitting strategy employed is an important confounding variable that can markedly alter the ranking of state-of-the-art systems, making much of the currently published literature non-comparable, even when the same dataset and metrics are used.

研究の動機と目的

• データ分割戦略が推薦モデルのパフォーマンスおよびランク付けに与える影響を調査すること。
• 文献における評価実践の不一致、特にデータ分割手法に関する不一致を特定すること。
• 同じデータセットとメトリクスを使用しても、異なる分割戦略が最先端モデルの顕著に異なるランク付けをもたらすことを実証すること。
• 今後の研究のためのベストプラクティスを提供すること、これにはデータ分割の報告と共有が含まれる。

提案手法

• 著者らは、BPR、NMF、VAECF、NGCF、NeuMF、VBCAR、Triple2Vec の7つの最先端推薦モデルを、leave-one-item、leave-one-basket、時系列グローバルの3つのデータ分割戦略に対して評価した。
• これら戦略を、Amazon と Dunnhumby の2つの実世界データセットに適用し、一貫した前処理とハイパーパramータチューニングを実施した。
• パフォーマンスは、すべての分割戦略において標準メトリクス（NDCG@10 と Recall@10）で測定された。
• ハイパーパramータチューニングにより生成された3つのコアモデル（NeuMF、VBCAR、Triple2Vec）の230種類のモデルバリアントを用いた大規模な相関実験を実施し、戦略間でのランクの安定性を評価した。
• 各ペアの分割戦略間のスコア分布の間で、Kendall’s τ 相関を計算し、ランクの一貫性を定量化した。
• leave-one-last および時系列ユーザー分割における漏洩を分析し、将来の相互作用が訓練中に間接的に利用可能になることが判明し、評価が歪められることを特定した。

実験結果

リサーチクエスチョン

• RQ1 データ分割戦略の選択が、最先端推薦モデルのランク付けに顕著に影響を与えるか？
• RQ2 同じデータセットとメトリクスを使用しても、異なる分割戦略が性能ランク付けにどれほど不一致をもたらすか？
• RQ3 どの分割戦略が情報漏洩を最小限に抑え、モデルパフォーマンスの最も現実的な評価を提供するか？
• RQ4 特定のデータ分布や漏洩の影響により、特定の推薦モデルが特定の分割戦略によって系統的に有利になることはあるか？
• RQ5 今後の推薦システム評価において再現性と公平性を確保するためのベストプラクティスは何か？

主な発見

• 時系列グローバル分割戦略は、最も一貫性があり現実的で、公平な比較のためのデフォルトとして採用すべきである。
• leave-one-last および時系列ユーザー分割では、将来の相互作用が訓練中に間接的に利用可能になるという顕著な情報漏洩が見られ、パフォーマンス評価が歪められる。
• 分割戦略間の Kendall’s τ 相関は 0.5284 から 0.7630 の範囲にあり、高パフォーマンスモデル間ですら顕著なランク入れ替えが生じていることが示された。
• leave-one-item 戦略では、NDCG@10 および Recall@10 のスコア分散が広がっており、より構造化された分割とは異なるモデル行動の側面を評価している可能性がある。
• Triple2Vec や VBCAR といった特定のモデルは、特定の分割戦略でより強いパフォーマンスを示しており、モデルランク付けがデータ分割設計に敏感であることが示された。
• 本研究は、データ分割戦略がモデル評価における重要な交絡要因であることを確認した。これは、同じデータセットとメトリクスを使用しても、発表された研究間での比較可能性を損なう要因となっている。