[論文レビュー] Pre-training Graph Neural Network for Cross Domain Recommendation

Chen Wang, Yueqing Liang+3 more|arXiv (Cornell University)|Nov 16, 2021

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、ソースドメインにおけるグラフニューラルネットワーク（GNN）を用いた自己教師付き対照的学習により、ターゲットドメインのユーザーおよびアイテム埋め込みを初期化する、クロスドメイン推薦のための事前学習および微調整フレームワークPCRecを提案する。事前学習されたGNNを介して構造的情報を転送し、シンプルな行列分解モデルによる微調整を行うことで、ソースドメインからのバイアスを最小限に抑えつつ、最先端の性能を達成し、Recall@20およびMAP@20において、既存手法を最大27.6%および26.4%上回る。

ABSTRACT

A recommender system predicts users' potential interests in items, where the core is to learn user/item embeddings. Nevertheless, it suffers from the data-sparsity issue, which the cross-domain recommendation can alleviate. However, most prior works either jointly learn the source domain and target domain models, or require side-features. However, jointly training and side features would affect the prediction on the target domain as the learned embedding is dominated by the source domain containing bias information. Inspired by the contemporary arts in pre-training from graph representation learning, we propose a pre-training and fine-tuning diagram for cross-domain recommendation. We devise a novel Pre-training Graph Neural Network for Cross-Domain Recommendation (PCRec), which adopts the contrastive self-supervised pre-training of a graph encoder. Then, we transfer the pre-trained graph encoder to initialize the node embeddings on the target domain, which benefits the fine-tuning of the single domain recommender system on the target domain. The experimental results demonstrate the superiority of PCRec. Detailed analyses verify the superiority of PCRec in transferring information while avoiding biases from source domains.

研究の動機と目的

• 単一ドメイン推薦システムにおけるデータスパarsityおよびコールドスタート問題を、クロスドメイン知識転送を活用することで解決すること。
• 既存のクロスドメイン推薦（CDR）手法が、共同学習や補助特徴への依存により、ソースドメインのバイアスが優勢になるという制限を克服すること。
• 構造的表現学習とターゲットドメイン予測を分離する、事前学習および微調整のパラダイムを構築し、ターゲット固有の情報を保持すること。
• CDRにおいて、事前学習済みGNN埋め込みで初期化されたシンプルな微調整モデルが、複雑なモデルを上回る性能を発揮できるかどうかを調査すること。
• CDRにおけるスパースなインタラクションのみのデータに適した、補助特徴なしの自己教師付き事前学習スキームを設計すること。

提案手法

• ソースドメインで、ランダムウォークベースの部分グラフ増幅を用いて正例ノードペアを生成する、対照的自己教師学習を用いてGNNエンコーダを事前学習する。
• 事前学習済みGNNエンコーダを用いて、ターゲットドメインのノード埋め込みを初期化し、ソースドメインからの構造的インダクティブバイアスを保持する。
• シンプルな行列分解（MF）モデルを用いてターゲットドメインの推薦モデルを微調整する。実証的に、LightGCNのようなより深いモデルよりも優れた性能を発揮する。
• 同じノードの近傍における2つの増幅ビューのノード表現の一致を最大化する対照的学習目的を適用する。
• 微調整段階をターゲットドメインに限定することで、最終的な予測がソースドメインバイアスに支配されないよう保証する。
• 実世界のデータセット上でフレームワークを評価し、異なるホップ数と微調整アーキテクチャを用いたバリエーションを比較して、設計選択の影響を分析する。

Figure 1: An illustration of PCRec model architecture in specific example. The model is mainly composed of three setps. In the pre-training stage, a model with the structural learning of nodes’ embedding is used to learn the source domain’s structure. The target domain is put into the pre-trained mo

実験結果

リサーチクエスチョン

• RQ1 ソースドメインのインタラクショングラフ上で自己教師付き事前学習を実施することで、データが限られたターゲットドメインにおける推薦パフォーマンスが向上するか？
• RQ2 事前学習済みGNNエンコーダのみを転送（微調整なし）した場合、ソースドメインバイアスにより性能が低下するか？
• RQ3 事前学習埋め込みで初期化された状態で、微調整モデルアーキテクチャの選択が、クロスドメイン推薦におけるパフォーマンスに与える影響は？
• RQ4 事前学習済みGNNを用いて共通ユーザーの埋め込みを生成する（モデル転送）方法が、直接ソースドメインの埋め込みをコピーする方法を上回るか？
• RQ5 事前学習段階における近傍集約のホップ数が、下流のパフォーマンスに与える影響は？

主な発見

• PCRecは、すべての指標で最高のパフォーマンスを達成し、Recall@20が0.2756、MAP@20が0.0264を記録。次に良いベースライン（LGCN）をそれぞれ27.6%および26.4%上回る。
• PCRec-2hop（2ホップ近傍）は、PCRec-3hop（3ホップ近傍）を上回り、近傍距離を増やすと正例サンプル間の類似度が低下し、表現学習が阻害されることを示している。
• 微調整にシンプルな行列分解（MF）モデルを用いたPCRecは、1層および3層のLightGCNよりも顕著に優れた性能を発揮し、複雑なモデルがターゲットデータに過剰適合し、転送された知識が損なわれる可能性があることを示唆している。
• 共通ユーザーの埋め込みを事前学習済みGNNで生成するCU-PM手法は、CU-PE（直接埋め込みコピー）および標準のLGCNベースラインを上回り、直接埋め込み転送ではなく、モデルベース転送の価値を実証している。
• Pre-Onlyベースライン（微調整なしで事前学習済みGNNを適用）は、最も悪いパフォーマンス（Recall@20 = 0.0329）を示し、ソースドメインバイアスを軽減するには微調整が不可欠であることを確認している。
• アブレーションスタディにより、事前学習エンコーダで初期化された非共通ユーザーを微調整段階に含めることでパフォーマンスが向上し、ターゲットドメインがソースドメイン情報に支配されないことが確認された。