[論文レビュー] When Multi-Level Meets Multi-Interest: A Multi-Grained Neural Model for Sequential Recommendation

Yu Tian, Jianxin Chang+3 more|arXiv (Cornell University)|May 3, 2022

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、順序付き推薦における多段階的ユーザー好みモデリングと多趣味学習を統合する、MGNMと呼ばれるマルチグレインニューラルモデルを提案する。ユーザーに適応したアイテム相互作用グラフを構築し、反復的グラフ畳み込みを適用することで、複雑で階層的な好みを捉える。また、新しい順序付きカプセルネットワークを用いて順序パターンを統合し、多趣味抽出を強化することで、HIT@5で最大4.35%、NDCG@5で最大3.12%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Sequential recommendation aims at identifying the next item that is preferred by a user based on their behavioral history. Compared to conventional sequential models that leverage attention mechanisms and RNNs, recent efforts mainly follow two directions for improvement: multi-interest learning and graph convolutional aggregation. Specifically, multi-interest methods such as ComiRec and MIMN, focus on extracting different interests for a user by performing historical item clustering, while graph convolution methods including TGSRec and SURGE elect to refine user preferences based on multi-level correlations between historical items. Unfortunately, neither of them realizes that these two types of solutions can mutually complement each other, by aggregating multi-level user preference to achieve more precise multi-interest extraction for a better recommendation. To this end, in this paper, we propose a unified multi-grained neural model(named MGNM) via a combination of multi-interest learning and graph convolutional aggregation. Concretely, MGNM first learns the graph structure and information aggregation paths of the historical items for a user. It then performs graph convolution to derive item representations in an iterative fashion, in which the complex preferences at different levels can be well captured. Afterwards, a novel sequential capsule network is proposed to inject the sequential patterns into the multi-interest extraction process, leading to a more precise interest learning in a multi-grained manner.

研究の動機と目的

• 既存の順序付き推薦モデルが複雑でマルチグレインのユーザー好みをモデル化できないという限界を解決すること。
• 単一のフレームワーク内で多趣味的学習と多段階的好みモデリングを統合し、そのギャップを埋めること。
• 学習可能なグラフ構築と反復的グラフ畳み込みプロセスを用いて、高レベルおよび微細なユーザー関心を捉えることで、推薦精度を向上させること。
• 新しい順序付きカプセルネットワークを用いて順序パターンを統合することで、多趣味抽出を強化すること。
• 多様な現実世界の推薦シナリオにおいて、提案モデルの有効性と頑健性を検証すること。

提案手法

• MGNMは、ユーザーの履歴行動からユーザーに適応したアイテム相互作用グラフを構築し、緩いシーケンスをより良い好みモデリングのための構造的グラフに変換する。
• 反復的グラフ畳み込みを適用して、異なる粒度における複雑な多段階的好みを捉えるアイテム表現を導出する。
• 新しい順序付きカプセルネットワークを設計し、順序パターンを多趣味的学習プロセスに組み込み、関心抽出の精度を向上させる。
• 複数のグラフ畳み込み層におけるマックスプーリングを用いて、各ユーザーごとに最も関連性の高い好みのレベルを特定し、マルチグレイン関心表現を可能にする。
• マルチ趣味的学習と多段階的好みモデリングをエンドツーエンドで学習可能な形で統合し、ユーザー固有の関心ダイナミクスに注意を払う。
• 表現品質と多様なユーザー行動における一般化を向上させるために、対照学習目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 多段階的好みモデリングと多趣味的学習を統合することで、順序付き推薦の性能が向上するか？
• RQ2 多趣味抽出に順序パターンを統合すると、推薦精度にどのような影響を与えるか？
• RQ3 ユーザー関心表現における異なる粒度レベルがモデル性能に与える影響は何か？
• RQ4 意味的複雑さが異なる多様な推薦シナリオにおいて、モデルの頑健性はどの程度か？
• RQ5 異なるデータセットにおいて、最適な関心クラスタ数（K）とグラフ畳み込み層数（L）は何か？

主な発見

• MGNMは3つの現実世界データセットで最先端の性能を達成し、最良のベースライン比でNDCG@5で3.12%、HIT@5で4.35%の向上を達成した。
• モデルは、eコマース、マイクロビデオ、楽器など多様な推薦シナリオにおいて頑健であり、さまざまなハイパーパrameter設定でも安定した性能を示した。
• 最適な関心クラスタ数（K）は、Toys and Gamesデータセットでは2、Micro-videoデータセットでは4であり、意味的複雑さの差を反映している。
• 多段階的好みモデリングは性能向上に顕著に寄与し、特に意味的空間が広いデータセット（例：Micro-video）では、高レベルの好みがより顕著に寄与している。
• 推論段階ではマックスプーリングがサムプーリングを上回り、ユーザーに適応した多段階的好み選択メカニズムの有効性を確認した。
• 計算コストが低く、大規模なデータセット（例：Micro-video）でさえ、1GPUで1エポックあたり約1.5時間の計算時間で学習が可能であった。