[論文レビュー] Solving Cold Start Problem in Recommendation with Attribute Graph Neural Networks

Tieyun Qian, Yile Liang+1 more|arXiv (Cornell University)|Dec 28, 2019

Recommender Systems and Techniques参考文献 30被引用数 7

ひとこと要約

本稿では、スパースなユーザ・アイテム相互作用グラフに代わってユーザおよびアイテムの属性を利用する事で、レコメンデーションシステムにおけるコールドスタート問題に対処する新しいフレームワーク、属性グラフニューラルネットワーク（AGNN）を提案する。AGNNは、属性分布からの好み埋め込みを推論するために拡張型変分オートエンコーダ（eVAE）を用い、マルチモーダルな属性を動的に集約するゲート付きGNNを採用することで、コールドスタート推薦において最先端の性能を達成するとともに、ウォームスタートの状況でも優れた性能を維持する。

ABSTRACT

Matrix completion is a classic problem underlying recommender systems. It is traditionally tackled with matrix factorization. Recently, deep learning based methods, especially graph neural networks, have made impressive progress on this problem. Despite their effectiveness, existing methods focus on modeling the user-item interaction graph. The inherent drawback of such methods is that their performance is bound to the density of the interactions, which is however usually of high sparsity. More importantly, for a cold start user/item that does not have any interactions, such methods are unable to learn the preference embedding of the user/item since there is no link to this user/item in the graph. In this work, we develop a novel framework Attribute Graph Neural Networks (AGNN) by exploiting the attribute graph rather than the commonly used interaction graph. This leads to the capability of learning embeddings for cold start users/items. Our AGNN can produce the preference embedding for a cold user/item by learning on the distribution of attributes with an extended variational auto-encoder structure. Moreover, we propose a new graph neural network variant, i.e., gated-GNN, to effectively aggregate various attributes of different modalities in a neighborhood. Empirical results on two real-world datasets demonstrate that our model yields significant improvements for cold start recommendations and outperforms or matches state-of-the-arts performance in the warm start scenario.

研究の動機と目的

• 新規ユーザやアイテムに相互作用履歴がない場合に発生するレコメンデーションシステムにおけるコールドスタート問題に対処すること。
• 相互作用に基づくGNNの限界を克服すること。特に、ユーザ・アイテムグラフにエッジが存在しない場合に機能しない点を改善すること。
• 性別、カテゴリ、説明文などのユーザおよびアイテム属性を、埋め込み学習の安定した情報源として活用すること。
• 隣接ノードのグラフ構造から、テキストや画像などの異種属性を効果的に集約する手法を開発すること。
• データスパarsityの度合いに関わらず、コールドスタートとウォームスタートの両状況で優れた性能を発揮するモデルを設計すること。

提案手法

• ノードがユーザまたはアイテムである属性グラフを構築し、属性の類似度に基づいてエッジを形成する（例：k-NNや動的近傍選択を用いる）。
• 属性の分布から直接好みの埋め込みを学習できる拡張型変分オートエンコーダ（eVAE）を導入し、相互作用データが存在しない場合のコールドスタート推論を可能にする。
• 隣接ノードの埋め込みに対して、次元ごとに学習可能な重みを割り当てることで、モデルの表現力を高め、マルチモーダルな属性の選択的集約を可能にするゲート付きGNNアーキテクチャを提案する。
• 学習可能なゲートを備えたグラフ畳み込み機構を用い、異なる属性や近隣ノードからの寄与を動的に重み付けすることで、異種特徴空間における表現学習を向上させる。
• 属性データおよびレーティングデータに対して再構成損失を用いて、eVAEが分離可能で頑健な好み埋め込み学習を可能にするように、モデルをエンドツーエンドで訓練する。
• 多様で関連性の高い近傍情報が得られるように、動的近傍構築を適用することで、スパarsityに対する汎化性と頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 属性グラフは、相互作用グラフに代わるユーザおよびアイテム埋め込み学習の有効な代替手段となり得るか？
• RQ2 拡張型変分オートエンコーダ（eVAE）は、コールドスタートユーザおよびアイテムの属性分布から好みの埋め込みを推論する際に、どの程度有効か？
• RQ3 隣接ノードの埋め込みに対して次元ごとのアテンションを割り当てるゲート付きGNN機構は、モデルの表現力と推薦性能を顕著に向上させるか？
• RQ4 データスパarsityの度合いやコールドスタート比が変化する条件下で、STAR-GCN や DiffNet といったSOTAモデルと比較してAGNNはどの程度の性能を発揮するか？
• RQ5 動的近傍構築戦略は、スパースな相互作用環境下でモデルの頑健性と性能をどの程度向上させるか？

主な発見

• AGNNは、特にコールドスタートノードの割合が増加する状況下で、STAR-GCN や DiffNet を含むSOTAモデルを顕著に上回る性能を発揮する。
• MovieLensデータセットにおいて、AGNNは全コールドスタート比（10%、30%、50%）においてRMSEがSTAR-GCN や DiffNet よりも低く、AGNNの性能劣化は著しく遅い。
• アブレーションスタディの結果、eVAE部を除去した場合（AGNN -eVAE）が最も悪い性能を示し、eVAEがコールドスタート埋め込み学習において中心的な役割を果たしていることが確認された。
• ゲート付きGNNを搭載したAGNNは、GCN や GAT を用いたバージョンを上回る性能を発揮しており、次元ごとのゲーティングが標準的なアテンションや和集合集約を凌駕するモデル表現力を向上させていることが示された。
• AGNNにおける動的近傍構築戦略は、固定近傍選択（例：k-NN）よりも優れた性能を発揮しており、より多様で関連性の高い近傍情報へのアクセスが可能であるためである。
• AGNNはウォームスタート状況でも競争力のある性能を維持しており、ベースラインと同等またはそれを上回っている。これは、属性ベースのアプローチがコールドスタートに限定されず、一般のレコメンデーション設定においても有益であることを示している。