[論文レビュー] A Next Basket Recommendation Reality Check

Ming Li, Sami Jullien+2 more|arXiv (Cornell University)|Sep 29, 2021

Recommender Systems and Techniques被引用数 4

ひとこと要約

本論文は、次回のカート推薦（NBR）手法について、きめ細やかで公平な評価を実施し、文献におけるパフォーマンス向上の多くが、探索よりも繰返しに偏った評価に起因して誤解を招くことがあることを明らかにした。繰返しと探索のバランスを測るための新しい指標を提案し、繰返しアイテムの予測は探索よりもはるかに容易であることが判明。深層学習モデルは、特に探索タスクにおいて性能を発揮していない。これにより、繰返しと探索の戦略を分離する、タスク特化型のモデル設計の必要性が示唆された。

ABSTRACT

The goal of a next basket recommendation (NBR) system is to recommend items for the next basket for a user, based on the sequence of their prior baskets. Recently, a number of methods with complex modules have been proposed that claim state-of-the-art performance. They rarely look into the predicted basket and just provide intuitive reasons for the observed improvements, e.g., better representation, capturing intentions or relations, etc. We provide a novel angle on the evaluation of next basket recommendation methods, centered on the distinction between repetition and exploration: the next basket is typically composed of previously consumed items (i.e., repeat items) and new items (i.e, explore items). We propose a set of metrics that measure the repeat/explore ratio and performance of NBR models. Using these new metrics, we analyze state-of-the-art NBR models. The results of our analysis help to clarify the extent of the actual progress achieved by existing NBR methods as well as the underlying reasons for the improvements. Overall, our work sheds light on the evaluation problem of NBR and provides useful insights into the model design for this task.

研究の動機と目的

• 報告されたNBR手法におけるパフォーマンス向上が、複数のデータセットおよび指標を用いた公平かつ包括的な評価においても成立するかを検証すること。
• 一貫性のないベースライン、標準でない指標、データセットの多様性といった、既存のNBR評価手法における欠陥を特定すること。
• 推奨カート内の繰返し（繰返し）と探索（発見）のアイテムの区別に焦点を当てた、新しい評価フレームワークの構築。
• 特定のNBRモデルが他のモデルを上回る理由を、繰返しと探索のタスクにおける行動を分析することで解明すること。
• ユーザーの好みに基づき、繰返しと探索を別々のサブタスクとして扱い、異なるモデリング要件を満たす必要があることを示唆する、今後のNBRモデル設計の指針を提供すること。

提案手法

• 著者らは、3つのベンチマークデータセット上で、頻度ベース、最近傍ベース、深層学習ベースの3つのNBRモデルファミリーを大規模に比較した。
• 推奨カート内の繰返し／探索比を定量化するための、タスク特化型の新しい指標を導入。繰返しに消費済みのアイテムを予測する能力と、新しいアイテムを予測する能力を測定。
• ユーザー単位でのパフォーマンス分解を含め、特に繰返しと探索のアイテム推奨において、異なるユーザー集団の行動を分析。
• 再現性を確保し、再実装バイアスを回避するために、発表済みモデルのオリジナル実装を用いた。
• 繰返しアイテムの予測（頻度と最近性に基づく）の難易度と、新しいアイテムの探索（アイテム相関のモデリングを要する）の難易度を区別した。
• 二重パスモデル設計戦略を提案：繰返しには頻度／最近性を、探索にはニューラルネットワークを用いることで、両者の間で制御可能なトレードオフを実現。

実験結果

リサーチクエスチョン

• RQ1 最先端のNBR手法が報告するパフォーマンス向上は、複数のデータセットおよび指標を用いた公平かつ包括的な評価においても成立するか？
• RQ2 既存のNBRモデルはどの程度、繰返しアイテムの推薦に偏っており、ユーザーの長期的エンゲージメントにどのような影響を及えるか？
• RQ3 頻度ベース、最近傍、深層学習の各NBRモデルファミリーは、それぞれ繰返しタスクと探索タスクでどのように性能を発揮するか？
• RQ4 繰返しアイテムと探索アイテムの推薦のパフォーマンス格差は、タスクの難易度の本質的差異とモデルの能力の違いによって説明可能か？
• RQ5 ユーザーの好みに基づき、繰返しと探索を適切にバランスさせるために、今後のNBRモデル設計にどのような指針が必要か？

主な発見

• どのNBR手法も、すべてのデータセットで常に他の手法を上回るとは限らず、モデルのパフォーマンスはデータセットに強く依存することが判明した。
• 評価されたすべてのNBR手法が繰返しに対して強く偏っており、繰返しアイテムのパフォーマンスは探索アイテムのパフォーマンスよりも顕著に高い。これは、タスク難易度に根本的な不均衡があることを示唆している。
• 繰返しアイテムの予測は、探索よりもはるかに容易であり、パフォーマンス格差から、現在のモデルが新規アイテムの発見を十分に処理していないことが明らかになった。
• 深層学習ベースのNBRモデルは、単純なベースラインよりも探索タスクで性能を発揮していない。これは、複雑なモデルが常にNBRに最適であるという仮定に疑問を呈する。
• 提案された繰返し／探索指標は、ユーザーが探索の履歴を持っているにもかかわらず、モデルが新規アイテムを適切に推薦できないことが判明。これは、現在の評価と設計における重要なギャップを示している。
• 繰返しと探索をモデル設計で分離することで（繰返しには頻度／最近性、探索にはニューラルネットワークを用いる）、より効果的で制御可能なNBRシステムが実現可能になる。