[論文レビュー] Where are we in embedding spaces? A Comprehensive Analysis on Network Embedding Approaches for Recommender Systems

Sixiao Zhang, Hongxu Chen+4 more|arXiv (Cornell University)|May 19, 2021

Recommender Systems and Techniques参考文献 32被引用数 6

ひとこと要約

本論文は、推薦システムにおける双曲空間の包括的な実験的・理論的分析を提供し、双曲埋め込みがなぜかつてはどのようにユークリッド空間を上回るかを評価している。HSCMLと呼ばれる双曲メトリクス学習モデルを提案し、ソーシャル推薦タスクで最先端の性能を達成しており、特に低密度で階層的なデータセット、および小さな潜在次元で双曲空間が特に効果的であることを示している。

ABSTRACT

Hyperbolic space and hyperbolic embeddings are becoming a popular research field for recommender systems. However, it is not clear under what circumstances the hyperbolic space should be considered. To fill this gap, This paper provides theoretical analysis and empirical results on when and where to use hyperbolic space and hyperbolic embeddings in recommender systems. Specifically, we answer the questions that which type of models and datasets are more suited for hyperbolic space, as well as which latent size to choose. We evaluate our answers by comparing the performance of Euclidean space and hyperbolic space on different latent space models in both general item recommendation domain and social recommendation domain, with 6 widely used datasets and different latent sizes. Additionally, we propose a new metric learning based recommendation method called SCML and its hyperbolic version HSCML. We evaluate our conclusions regarding hyperbolic space on SCML and show the state-of-the-art performance of hyperbolic space by comparing HSCML with other baseline methods.

研究の動機と目的

• 双曲空間が推薦システムにおいてユークリッド空間を上回る条件を特定すること。
• さまざまな推薦モデル、データセット、潜在空間サイズにおける双曲埋め込みの性能を評価すること。
• 新規のメトリクス学習ベースのソーシャル推薦モデルHSCMLを提案し、その双曲空間における優位性を検証すること。
• 実世界の推薦システムに双曲埋め込みを採用する際の実務的ガイドラインを提供すること。

提案手法

• 著者らは、一般およびソーシャル推薦タスクの両方で広く使われている6つのデータセットを用いて、ユークリッド空間と双曲空間の比較分析を実施している。
• 行列分解およびメトリクス学習を含む複数の潜在空間モデルを、ユークリッド幾何と双曲幾何の両方で評価している。
• ベースラインとして新しい手法であるソーシャル共同メトリクス学習（SCML）を提案し、その双曲版であるHSCMLを比較のため導入している。
• 双曲空間の表現にポアンカレ球モデルを用い、双曲埋め込みの効率的最適化を可能にしている。
• 双曲およびユークリッドモデルは負例サンプリングを用いて学習され、潜在次元の範囲でチューニングされ、性能のトレードオフを評価している。
• アブレーションスタディとして潜在次元およびデータセットの密度に関する分析を実施し、標準的な推薦指標を用いて結果を報告している。

実験結果

リサーチクエスチョン

• RQ1 どのような状況で双曲空間が推薦タスクにおいてユークリッド空間を上回るのか？
• RQ2 どのような種類のデータセット（例：階層的、スケールフリー、低密度）が双曲埋め込みによって最も利益を受けるのか？
• RQ3 潜在次元の選択が、ユークリッド空間と双曲空間の間の性能差にどのように影響するのか？
• RQ4 双曲空間における単純なメトリクス学習モデルが、複雑な最先端のユークリッドモデルを上回ることができるか？

主な発見

• Ciao や Epinions のような低密度で階層的なデータセットにおいて、双曲空間はユークリッド空間を顕著に上回り、特に小さな潜在次元で顕著である。
• 潜在次元が増加するにつれて、ユークリッド空間と双曲空間の性能差は縮小する。これは、高次元のユークリッド空間がその固有の歪みを補償できることを示唆している。
• HSCML は、ソーシャル推薦ベンチマークで最先端の性能を達成しており、複雑なモデルである SAMN や RML-DGAT でさえも上回っている。
• 研究結果は、双曲空間が、現実のユーザ-アイテム相互作用ネットワークに一般的に見られる木構造的、スケールフリー的、階層的データ構造をモデリングするのに特に効果的であることを確認している。
• 本研究は、双曲埋め込みが階層的データにおける歪みを低減することを実証的裏付けとして示しており、このような構造に対してユークリッド埋め込みよりも効率的であることが示されている。