[論文レビュー] Learning Cross-Domain Representation with Multi-Graph Neural Network

Yi Ouyang, Bin Guo+4 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks参考文献 38被引用数 14

ひとこと要約

本稿では、複数の関連するドメインからのユーザー行動データを統合して統一されたマルチグラフ構造を構築することで、クロスドメインのアイテム表現を学習するマルチグラフニューラルネットワーク、Deep Multi-Graph Embedding (DMGE) を提案する。グラフ畳み込みネットワークと複数勾配降下最適化手法を活用することで、DMGE はデータスパarsity を効果的に軽減し、大規模な実世界のデータセットを用いた推薦およびランク付けタスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Learning effective embedding has been proved to be useful in many real-world problems, such as recommender systems, search ranking and online advertisement. However, one of the challenges is data sparsity in learning large-scale item embedding, as users' historical behavior data are usually lacking or insufficient in an individual domain. In fact, user's behaviors from different domains regarding the same items are usually relevant. Therefore, we can learn complete user behaviors to alleviate the sparsity using complementary information from correlated domains. It is intuitive to model users' behaviors using graph, and graph neural networks (GNNs) have recently shown the great power for representation learning, which can be used to learn item embedding. However, it is challenging to transfer the information across domains and learn cross-domain representation using the existing GNNs. To address these challenges, in this paper, we propose a novel model - Deep Multi-Graph Embedding (DMGE) to learn cross-domain representation. Specifically, we first construct a multi-graph based on users' behaviors from different domains, and then propose a multi-graph neural network to learn cross-domain representation in an unsupervised manner. Particularly, we present a multiple-gradient descent optimizer for efficiently training the model. We evaluate our approach on various large-scale real-world datasets, and the experimental results show that DMGE outperforms other state-of-art embedding methods in various tasks.

研究の動機と目的

• 複数の関連するドメインからの補完的ユーザー行動を活用することで、単一ドメインのアイテム埋め込みにおけるデータスパarsity を軽減する。
• 単一グラフの表現学習を想定した従来のグラフニューラルネットワークの制限を克服する。
• ラベルデータを必要としない自己教師ありマルチグラフニューラルネットワークフレームワークを構築し、同時にクロスドメイン表現を学習する。
• ドメイン間の構造的および行動的相関を活用することで、推薦や検索ランク付けなどの下流タスクにおけるアイテム埋め込みの質を向上させる。
• 共有ノード埋め込みを有する複数ドメインのパラメータを同時に更新できる複数勾配降下最適化手法を用いて、効率的なトレーニング戦略を設計する。

提案手法

• ノードがアイテムを表し、エッジが異なるドメインのユーザー行動シーケンス内でのアイテムの共起を表すマルチグラフを構築する。
• 複数のエッジタイプを持つマルチグラフを構成し、それぞれが異なるドメイン（例：レコメンデーション、検索）に対応させ、同じノード集合を共有する。
• 各ドメイン固有のサブグラフにおいて、隣接ノードからの特徴を集約することでノード埋め込みを学習するため、グラフ畳み込みネットワーク（GCNs）をバックボーンとして採用する。
• すべてのドメインからの表現をマルチタスク学習フレームワークを介して統合し、ドメイン間での情報伝達と共同最適化を可能にする。
• 複数のドメインにおけるパラメータを共有ノード埋め込みを介して同時に更新できる複数勾配降下最適化手法を用いて、モデルを効率的にトレーニングする。
• 明示的なラベルを必要とせず、ノード再構成と近隣ノード予測による自己教師あり事前学習を活用し、意味のある表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 複数ドメインのユーザー行動データを効果的にマルチグラフとしてモデル化することで、アイテム表現学習を向上させることができるか？
• RQ2 共有ノードを持つ複数の関連するグラフ（すなわちドメイン）を同時に学習するため、グラフニューラルネットワークをどのように拡張できるか？
• RQ3 クロスドメイン情報伝達は、活動が少ないドメインにおけるデータスパarsity をどの程度軽減できるか？
• RQ4 提案されたマルチグラフニューラルネットワークフレームワークは、単一ドメインのグラフ埋め込みや既存のクロスドメインレコメンデーション手法を上回るか？
• RQ5 複数勾配降下最適化手法は、マルチグラフ表現モデルのトレーニングにおいて、どの程度効率的かつスケーラブルか？

主な発見

• DMGE は、DeepWalk や node2vec、GCN といった最先端の単一ドメイン埋め込み手法を、下流の推薦および検索ランク付けタスクにおいて顕著に上回る。
• 複数の大規模な実世界データセットにおいて一貫した性能向上を達成しており、モデルの頑健性と一般化能力を示している。
• マルチグラフ学習によるクロスドメイン情報伝達は、データスパarsity を軽減し、特に個々のドメインで相互作用履歴が限られるアイテムに顕著な利益をもたらす。
• 複数勾配降下最適化手法の使用により、マルチタスクモデルのトレーニングが効率的かつ安定的に行われ、収束速度と埋め込み品質が向上した。
• アブレーションスタディの結果、マルチグラフ構造とマルチタスク学習目的関数の両方が性能向上に不可欠であることが確認され、設計選択の妥当性が裏付けられた。
• モデルはコールドスタートの状況においても良好に一般化し、任意の単一ドメインで相互作用が少ないアイテムの埋め込み品質が向上した。