[論文レビュー] Modeling Scale-free Graphs with Hyperbolic Geometry for Knowledge-aware Recommendation

Yankai Chen, Meng‐Lin Yang+5 more|arXiv (Cornell University)|Aug 14, 2021

Recommender Systems and Techniques被引用数 10

ひとこと要約

本稿では、統合されたユーザ・アイテム相互作用および知識グラフ（KG）データの階層的・スケールフリー構造をよりよく捉えるために、双曲幾何のローレンツモデルを活用する知識認識型推薦モデルLKGRを提案する。双曲空間におけるグラフ畳み込みおよびアテンションベースの情報集約を実行することで、3つの実世界ベンチマークで最先端手法よりも3.6–15.3%高いRecall@20を達成した。

ABSTRACT

Aiming to alleviate data sparsity and cold-start problems of traditional recommender systems, incorporating knowledge graphs (KGs) to supplement auxiliary information has recently gained considerable attention. Via unifying the KG with user-item interactions into a tripartite graph, recent works explore the graph topologies to learn the low-dimensional representations of users and items with rich semantics. However, these real-world tripartite graphs are usually scale-free, the intrinsic hierarchical graph structures of which are underemphasized in existing works, consequently, leading to suboptimal recommendation performance. To address this issue and provide more accurate recommendation, we propose a knowledge-aware recommendation method with the hyperbolic geometry, namely Lorentzian Knowledge-enhanced Graph convolutional networks for Recommendation (LKGR). LKGR facilitates better modeling of scale-free tripartite graphs after the data unification. Specifically, we employ different information propagation strategies in the hyperbolic space to explicitly encode heterogeneous information from historical interactions and KGs. Our proposed knowledge-aware attention mechanism enables the model to automatically measure the information contribution, producing the coherent information aggregation in the hyperbolic space. Extensive experiments on three real-world benchmarks demonstrate that LKGR outperforms state-of-the-art methods by 3.6-15.3% of Recall@20 on Top-K recommendation.

研究の動機と目的

• ユーザ・アイテム相互作用と知識グラフが形成する階層的・スケールフリーな三部グラフをユークリッド空間でモデル化する際の限界を解決すること。
• 現実の推薦データに内在する木構造的な特徴を捉える際、ユークリッド埋め込みにおける高い歪みが引き起こす非最適な表現学習を克服すること。
• 双曲幾何を用いて統合されたユーザ・アイテム・KGグラフの階層的トポロジーを明示的にモデル化することで、推薦性能を向上させること。
• 双曲空間における情報寄与度を適応的に測定する知識認識型アテンションメカニズムを設計し、一貫性のある表現学習を実現すること。
• 広範な実験的評価を通じて、双曲幾何がユークリッド空間に比べて知識認識型推薦において優れていることを実証すること。

提案手法

• ノード表現（ユーザ、アイテム、エンティティ）を、指数的体積増加を活用し階層的グラフ構造をよりよくモデル化できる、双曲空間内の特定のリーマン多様体（ローレンツ多様体）に射影すること。
• 双曲空間におけるノードの情報量に基づき、近隣ノードの重要性を動的に重みづける、ローレンツ多様体上での知識認識型アテンションメカニズムを設計すること。
• 情報伝搬を2つのスレッドに分離する：1つはユーザ・アイテム相互作用信号用、もう1つはKG関係信号用。これにより、異種情報の統合が可能になる。
• リーマン最適化を用いて双曲空間でマルチレイヤーのグラフ畳み込み演算を実行し、メッセージ伝達中に幾何的性質を保持すること。
• モデルのエンドツーエンド学習を保証するため、リーマン確率的勾配降下法（RSGD）を用いて勾配を多様体上で適切にバックプロパゲートすること。
• ユーザ・アイテム相互作用とKG情報を統一された三部グラフで統合し、構造的階層を保持するとともに、統合的表現学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間に比べ、双曲幾何は統合されたユーザ・アイテム相互作用および知識グラフデータの階層的・スケールフリー構造をよりよくモデル化できるか？
• RQ2 双曲空間における提案された知識認識型アテンションメカニズムは、推薦タスクの表現学習をどのように改善するか？
• RQ3 双曲空間で異種信号（ユーザ・アイテム相互作用対KG関係）を別々にモデル化することで、推薦性能がどの程度向上するか？
• RQ4 ローレンツモデルの使用は、スケールフリーなグラフにおける埋め込み歪みを低減させ、結果として推薦精度を向上させるか？
• RQ5 情報伝達の深さ（レイヤー数）は、双曲推薦フレームワークにおける性能にどのように影響するか？

主な発見

• LKGRは、MovieLens-20M、Meituan-Dianping、Book-Crossingの3つの実世界ベンチマークで、最先端手法に比べ3.6–15.3%高いRecall@20を達成した。
• モデルはTop-K推薦およびランクベースの指標の両方で、既存の最先端手法を上回り、異なるデータセットにおいて一貫した向上を示した。
• アブレーションスタディの結果、知識認識型アテンションメカニズムおよび双曲空間モデリングが性能向上に顕著に寄与していることが確認された。
• 情報伝達の最適なレイヤー数（L）はデータセットによって異なり、L=2またはL=3が最良の性能を示した。これは、深さの適応的制御が重要であることを示している。
• 双曲空間モデリングにより、スケールフリーなグラフにおける歪みが低減され、ユークリッドベースラインに比べて階層的ノード関係をより良く捉える能力が向上した。
• 双曲空間における制御的・深さ適応的メッセージ伝達により、過剰な平滑化（over-smoothing）を効果的に緩和し、高次構造的情報を保持できた。