[論文レビュー] Scalable Hyperbolic Recommender Systems

Benjamin Paul Chamberlain, Stephen R. Hardwick+4 more|arXiv (Cornell University)|Feb 22, 2019

advanced mathematical theories参考文献 44被引用数 21

ひとこと要約

本稿では、ハイパボリック空間のハイパボロイドモデルとアインシュタイン中点集約を用いたスケーラブルなハイパボリックレコメンデーションシステムを提案する。ユーザーの潜在的表現を実装することで、数百万人のユーザーとアイテムに対する効率的な学習が可能となる。複雑なネットワーク構造を示すデータセットにおいて、ハイパボリックモデルがユークリッドベースラインを2–14%上回ることを示し、非対称設計によりパラメータ数と学習時間を最大5倍まで削減しながら性能を維持している。

ABSTRACT

We present a large scale hyperbolic recommender system. We discuss why hyperbolic geometry is a more suitable underlying geometry for many recommendation systems and cover the fundamental milestones and insights that we have gained from its development. In doing so, we demonstrate the viability of hyperbolic geometry for recommender systems, showing that they significantly outperform Euclidean models on datasets with the properties of complex networks. Key to the success of our approach are the novel choice of underlying hyperbolic model and the use of the Einstein midpoint to define an asymmetric recommender system in hyperbolic space. These choices allow us to scale to millions of users and hundreds of thousands of items.

研究の動機と目的

• 数百万のユーザーとアイテムを扱う大規模な電子商取引プラットフォームに適したスケーラブルなハイパボリックレコメンデーションシステムの開発。
• ハイパボリック空間におけるリーマン最適化の挑戦に応えるために、安定的かつ正確な勾配降下法を可能にする。
• ユーザーの相互作用履歴のアインシュタイン中点を用いた暗黙的表現により、スケーラビリティを向上させ、学習時間を短縮する。
• 階層的またはパワー則に従う構造を持つデータに対して、ハイパボリック幾何がユークリッド幾何よりも優れた誘導的バイアスを提供するかを評価する。
• 非対称ハイパボリックモデルが、顕著に少ないパラメータ数で対称モデルと同等の性能を達成できるかを実証する。

提案手法

• 著者らは、正確なリーマン勾配降下法を可能にし、数値的不安定性を回避できるハイパボリック空間のハイパボロイドモデルを採用する。
• ユーザー表現は、ポジティブに相互作用したアイテムのアインシュタイン中点として暗黙的にモデル化され、明示的なユーザー埋め込みの削除によりモデルの複雑さが低減される。
• 最適化にはリーマン確率的勾配降下法を用い、ハイパボリック空間における曲率に配慮した更新が行われる。
• 非対称設計により、最大1840万ユーザーと100万製品を含むデータセットの学習が可能となり、メモリオーバーヘッドは最小限に抑えられる。
• 性能評価は、公開データセット（MovieLens20M）および特許取得済みデータセット（ASOS）のホールドアウトテストセットを用い、HR@10およびNDCG@10で実施される。
• 同じハイパーパrameter設定と学習環境下で、対称的ハイパボリックおよびユークリッドベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 階層的またはスケールフリーなネットワーク構造を持つレコメンデーションシステムにおいて、ハイパボリック幾何がユークリッド幾何よりも優れた誘導的バイアスを提供できるか？
• RQ2 数百万のユーザーとアイテムを含む実世界の産業用データセットに適応可能な、ハイパボリックレコメンデーションシステムのスケーラビリティをどのように実現できるか？
• RQ3 複雑なネットワーク特性を示すデータセットにおいて、ハイパボリックモデルがユークリッドモデルをどの程度上回る性能を発揮するか？
• RQ4 アインシュタイン中点による非対称モデリングが、パラメータ数と学習時間を大幅に削減しながら性能を維持できるか？
• RQ5 ハイパボリック空間における適応的最適化手法は、現在の結果をさらに上回る性能向上を実現できるか？

主な発見

• MovieLens20Mデータセットでは、非対称ハイパボロイドレコメンデーションシステムが、対称バージョンと同等の性能を達成したが、学習時間は半分で、パラメータ数は5倍も削減された。
• 複雑なネットワーク構造を示すデータセットにおいて、ハイパボリックモデルはユークリッドモデルを2–14%上回り、階層的データに対してハイパボリック幾何が優れていることを実証した。
• 特許取得済みのASOSデータセットでは、1エポック後でHR@10 = 0.589、NDCG@10 = 0.324を達成し、ランダムな選択より顕著に優れていたが、ユークリッドベースラインには及ばなかった。
• ASOSデータセットにおいて、非対称システムは同じエポック数で対称バージョンと比較して学習時間を4倍短縮した。
• 著者らは、適応的最適化手法と改善された初期化を、性能ギャップを埋めるための今後の研究分野として特定した。
• 結果から、アインシュタイン中点による暗黙的ユーザーモデリングと組み合わせたハイパボリック幾何は、産業用レコメンデーションシステムにおいて実用的かつスケーラブルな代替手段であると確認された。