[論文レビュー] Neural-Symbolic Reasoning over Knowledge Graph for Multi-stage Explainable Recommendation

Yikun Xian, Zuohui Fu+3 more|arXiv (Cornell University)|Jul 26, 2020

Advanced Graph Neural Networks参考文献 10被引用数 10

ひとこと要約

本論文は、深層学習とシンボリック知識グラフ推論を統合することで、階層的で説明可能な推薦を生成する、新たな粗くから細かくまでのニューラル・シンボリック推論フレームワークNSERを提案する。まず抽象的なユーザー行動パターンを学習し、その後で具体的な推論経路を導出することで、4つの実世界データセットにおいて最先端の推薦性能と多様で解釈可能な説明を達成する。

ABSTRACT

Recent work on recommender systems has considered external knowledge graphs as valuable sources of information, not only to produce better recommendations but also to provide explanations of why the recommended items were chosen. Pure rule-based symbolic methods provide a transparent reasoning process over knowledge graph but lack generalization ability to unseen examples, while deep learning models enhance powerful feature representation ability but are hard to interpret. Moreover, direct reasoning over large-scale knowledge graph can be costly due to the huge search space of pathfinding. We approach the problem through a novel coarse-to-fine neural symbolic reasoning method called NSER. It first generates a coarse-grained explanation to capture abstract user behavioral pattern, followed by a fined-grained explanation accompanying with explicit reasoning paths and recommendations inferred from knowledge graph. We extensively experiment on four real-world datasets and observe substantial gains of recommendation performance compared with state-of-the-art methods as well as more diversified explanations in different granularity.

研究の動機と目的

• 説明可能な推薦における純粋なシンボリック手法（一般化能力の欠如）と深層学習モデル（解釈可能性の欠如）の限界を解消すること。
• 事後的または事前に定義された説明ではなく、推薦プロセス中に段階的で階層的な説明を可能にする手法の開発。
• 学習された抽象的パターンによる誘導によって、大規模知識グラフにおける経路探索の計算コストを低減すること。
• ニューラル表現学習とシンボリック経路推論の両方を活用することで、推薦性能を向上させること。

提案手法

• NSERは二段階の推論パイプラインを採用する：まず、抽象的なユーザー行動パターンを表すニューラル・シンボリックメタレイアウトとしての粗い説明を生成する。
• 粗い説明は、ユーザーごとにパーソナライズされ、再構成可能な微分可能なニューラル関係モジュールで構成される。
• 学習されたメタレイアウトに基づき、NSERは知識グラフ上で細かい推論経路を推論し、終点が最終的な推薦として機能する。
• モデルは、経路正則化（正しいシンボリック経路を保証するため）とランク付け損失（推薦精度を向上させるため）を組み合わせた共同最適化目的関数を用いる。
• ヒューリスティック関数を用いて、候補となるメタパスの品質を推定し、効果的な抽象レイアウトの選択をガイドする。
• 教師モデル（HeteroEmbed）を用いてエンドツーエンドで訓練されることで、一般化性能が向上し、結果として教師モデルを上回る推薦性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまでのニューラル・シンボリック推論フレームワークは、従来の手法と比較して、推薦精度と説明の多様性の両方を向上させることができるか？
• RQ2 深層学習とシンボリック経路推論を統合することで、一般化能力を損なわず、モデルの解釈性をどのように向上させることができるか？
• RQ3 抽象的メタレイアウトの使用が、大規模知識グラフにおける経路探索の探索空間をどの程度小さくできるか？
• RQ4 抽象的メタレイアウトを生成するための異なる戦略（一様、事前分布、ヒューリスティック）が、推薦性能に与える影響は何か？
• RQ5 経路正則化とランク付け損失の間のトレードオフが、最終的な推薦品質に与える影響は何か？

主な発見

• NSERは、4つのデータセットすべてで最良のベースライン（HeteroEmbed）を上回り、衣類データセットではRecallが6.340%に達したのに対し、HeteroEmbedは5.466%であった。
• ランク付け損失のコンponentがなくても、NSERは強固な推薦性能を維持しており、表現学習における頑健性を示している。
• ヒューリスティックベースのメタレイアウト生成法は、一様および事前分布ベースのレイアウトと比較して、推薦品質において顕著に優れている。
• 経路正則化とランク付け損失の間に最適なトレードオフが存在する。後者の重みを高すぎると、経路適合精度が低下するため性能が劣化する。
• NSERは教師モデル（HeteroEmbed）よりも優れた推薦結果を達成しており、二段階の推論プロセスがより良いパターン発見と一般化を可能にしていると考えられる。