[論文レビュー] DemiNet: Dependency-Aware Multi-Interest Network with Self-Supervised Graph Learning for Click-Through Rate Prediction

Yule Wang, Qiang Luo+4 more|arXiv (Cornell University)|Sep 26, 2021

Recommender Systems and Techniques参考文献 27被引用数 4

ひとこと要約

DemiNetは、クリックスルーレート（CTR）予測のための依存関係に配慮したマルチインテントネットワークと自己教師付きグラフ学習を提案する。非一様なグラフアテンションを用いて多様なアイテムの依存関係をモデル化し、行動シーケンスのノイズを低減し、自己教師付き学習を適用してインテント抽出の耐性を高め、ルート固有のエキスパートと信頼度ネットワークを用いて適応的集約を実現——3つの実世界データセットで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a novel model named DemiNet (short for DEpendency-Aware Multi-Interest Network) to address the above two issues. To be specific, we first consider various dependency types between item nodes and perform dependency-aware heterogeneous attention for denoising and obtaining accurate sequence item representations. Secondly, for multiple interests extraction, multi-head attention is conducted on top of the graph embedding. To filter out noisy inter-item correlations and enhance the robustness of extracted interests, self-supervised interest learning is introduced to the above two steps. Thirdly, to aggregate the multiple interests, interest experts corresponding to different interest routes give rating scores respectively, while a specialized network assigns the confidence of each score. Experimental results on three real-world datasets demonstrate that the proposed DemiNet significantly improves the overall recommendation performance over several state-of-the-art baselines. Further studies verify the efficacy and interpretability benefits brought by the fine-grained user interest modeling.

研究の動機と目的

• CTR予測における正確な複数インテント抽出を妨げるノイズが多く混在した複雑なユーザー行動シーケンスに対処すること。
• 従来の手法でしばしば無視される、抽出されたインテントベクトル間の潜在的相関をモデル化すること。
• 自己教師付き学習を通じて、ユーザーインテント表現の耐性と解釈可能性を向上させること。
• ルート固有のエキスパートと信頼度ネットワークを用いて、複数インテント表現を適応的に集約することで予測精度を向上させること。

提案手法

• ユーザー行動シーケンス内のアイテム関係をモデル化するため、4種類の依存関係（文脈的、類似性、順序的、共起）を持つ非一様グラフを構築する。
• 階層的かつ依存関係に配慮した非一様アテンションを適用し、シーケンスのノイズを低減し、正確なアイテム表現を生成する。
• インタラクションモジュールおよびマルチインテント抽出モジュールの両方でランダムエッジドロップアウトを用いて自己教師付きインテント学習を導入し、ノイズの多い相関をフィルタリングする。
• グラフ埋め込みにマルチヘッドアテンションを適用して、複数のコアユーザーインテントを抽出する。
• ルート固有のインテントエキスパートを用いて、各インテントパスごとに個別のCTR予測を生成する。
• 動的信頼度重みを各エキスパートの予測に割り当て、適応的集約を可能にするConf-iNetを導入する。

実験結果

リサーチクエスチョン

• RQ1 アイテム関係の依存関係に配慮したモデリングは、ノイズの多いユーザー行動シーケンスにおける表現学習をどのように改善するか？
• RQ2 自己教師付き学習は、抽出されたマルチインテント表現の耐性をどの程度向上させるか？
• RQ3 信頼度重み付きのルート固有インテントエキスパートは、単一または連結されたインテントベクトルと比較して、予測精度をどのように向上させるか？
• RQ4 異なるグラフ畳み込み演算子や、インテントルート数などのハイパーパrameter（例：K）は、モデル性能にどのように影響するか？

主な発見

• DemiNetは3つの実世界データセットで最先端の性能を達成し、AUCおよびLog Lossの両面で既存のSOTAベースラインを上回った。
• アブレーションスタディにより、DHA、自己教師付き学習、マルチインテント集約の各モジュールがモデル性能を顕著に向上させていることが確認された。
• マルチ依存関係に配慮した非一様アテンション（DHA）モジュールが、文脈的および類似性依存関係を効果的にモデル化することで、最も大きな性能向上をもたらした。
• 自己教師付きインテント学習により、インテント抽出段階でノイズの多いアイテム間相関をフィルタリングし、耐性が向上した。
• インテントルート数（K）はK=16を超えると効果が薄れ、過学習と計算コストの増加により性能が飽和した。
• t-SNE可視化により、同一ルートからのインテントベクトルがクラスタを形成しており、モデルが微細で解釈可能なユーザー意図を正しく学習できていることが裏付けられた。