[論文レビュー] HAM: Hybrid Associations Models for Sequential Recommendation

Bo Peng, Zhiyun Ren+2 more|arXiv (Cornell University)|Feb 27, 2020

Recommender Systems and Techniques参考文献 27被引用数 11

ひとこと要約

HAMは、プーリングを用いたユーザーの長期的嗜好、低次および高次順序のアイテム関連性、およびヘダムド積を用いた明示的なアイテム連携を統合する、新規で効率的な順序推薦モデルを提案する。6つのベンチマークデータセットにおいて、SOTA手法比で最高46.6%の性能向上と139.7倍の高速化を達成した。

ABSTRACT

Sequential recommendation aims to identify and recommend the next few items for a user that the user is most likely to purchase/review, given the user's purchase/rating trajectories. It becomes an effective tool to help users select favorite items from a variety of options. In this manuscript, we developed hybrid associations models (HAM) to generate sequential recommendations using three factors: 1) users' long-term preferences, 2) sequential, high-order and low-order association patterns in the users' most recent purchases/ratings, and 3) synergies among those items. HAM uses simplistic pooling to represent a set of items in the associations, and element-wise product to represent item synergies of arbitrary orders. We compared HAM models with the most recent, state-of-the-art methods on six public benchmark datasets in three different experimental settings. Our experimental results demonstrate that HAM models significantly outperform the state of the art in all the experimental settings, with an improvement as much as 46.6%. In addition, our run-time performance comparison in testing demonstrates that HAM models are much more efficient than the state-of-the-art methods, and are able to achieve significant speedup as much as 139.7 folds.

研究の動機と目的

• 深層学習モデルが過学習を起こすか、意味のない注意重みを学習する可能性がある、スパースな順序推薦データの課題に対処する。
• シンプルで解釈性の高いモデルが、複雑な深層学習アプローチを上回る可能性があるかどうかを調査する。
• ユーザーの長期的嗜好、順序付きアイテム関連性（低次および高次）およびアイテム連携を明示的に捉えるモデルを開発する。
• SOTA手法と比較して、推薦精度と推論効率の両方を向上させる。
• 一般的な評価設定（80-20-CUTおよび3-LOS）の限界を分析し、より信頼性の高いベンチマークとして80-3-CUTを提唱することで、実験的評価の標準化を図る。

提案手法

• すべての歴史的購入/評価データに基づくユーザー埋め込みを用いて、ユーザーの長期的嗜好をモデル化する。
• 最近のアイテムシーケンスに対して平均および最大プーリングを適用し、低次および高次順序のアイテム関連性を表現する。
• アイテム埋め込みに対する再帰的ヘダムド積演算を用いて、任意の順序のアイテム連携を明示的にモデル化する。
• ユーザー嗜好、アイテム関連性、および連携の3要素を線形スコア関数に統合し、推薦順序付けに用いる。
• モデルの複雑さを著しく増加させることなく、高次アイテム相互作用を効果的にモデル化するための潜在的クロス技術を用いる。
• 注意機構や再帰構造を含まないため、エンドツーエンドで訓練可能であり、推論が高速である。

実験結果

リサーチクエスチョン

• RQ1 スパースなデータセットにおいて、非注意機構を備えたシンプルなモデルが、複雑な深層学習モデルを上回る可能性があるか？
• RQ2 低次および高次順序のアイテム関連性パターンが、推薦性能にどの程度寄与するか？
• RQ3 アイテム連携とユーザーの長期的嗜好を明示的にモデル化することは、推薦精度にどのような影響を与えるか？
• RQ4 異なる評価設定（80-20-CUT、80-3-CUT、3-LOS）は、性能推定とモデル比較にどのように影響するか？
• RQ5 スパースな推薦データにおいて、深層順序モデルの注意重みは意味のあるものか？

主な発見

• HAMモデルは、80-3-CUT設定下で、SOTA手法Caser比でNDCG@10で最大46.6%の向上を達成した。
• 推論段階において、Caser比で平均139.7倍、SASRec比で28.0倍の高速化を示し、優れた効率性を実証した。
• アブレーションスタディの結果、コマicsデータセットでは低次関連性のモデル化により14.9%の性能向上が確認され、その重要性が裏付けられた。
• SOTA手法SASRecの注意重みは、スパースなデータセットではほとんど意味を持たないことが判明し、このような設定では有効性が限定的であることが示唆された。
• 80-3-CUT設定は、検証集合とテスト集合のサイズがバランスしているため、80-20-CUTや3-LOSと比較して、順序推薦モデルの評価により信頼性が高い。
• HAMにおける学習済みアイテム表現の等価重み付けが、適応的重み付けよりも優れた性能を示し、表現品質の変動に対して高いロバストネスを示した。