[論文レビュー] HyperML: A Boosting Metric Learning Approach in Hyperbolic Space for Recommender Systems

Lucas Vinh Tran, Yi Tay+3 more|arXiv (Cornell University)|Sep 5, 2018

Recommender Systems and Techniques参考文献 38被引用数 21

ひとこと要約

HyperML は、ユーザーとアイテムの埋め込み表現を向上させるために、双曲空間における新しいメトリック学習アプローチを提案する。Möbius ギロベクトル空間を用いて、ユークリッド空間の演算を一般化し、双曲幾何に適応させる。この手法は、10個のベンチマークデータセットにおいて、ユークリッドベースラインや CML や LRML といった最先端モデルを上回る最高性能を達成し、順位付け指標で最大 32.32% の向上を示した。

ABSTRACT

This paper investigates the notion of learning user and item representations in non-Euclidean space. Specifically, we study the connection between metric learning in hyperbolic space and collaborative filtering by exploring Mobius gyrovector spaces where the formalism of the spaces could be utilized to generalize the most common Euclidean vector operations. Overall, this work aims to bridge the gap between Euclidean and hyperbolic geometry in recommender systems through metric learning approach. We propose HyperML (Hyperbolic Metric Learning), a conceptually simple but highly effective model for boosting the performance. Via a series of extensive experiments, we show that our proposed HyperML not only outperforms their Euclidean counterparts, but also achieves state-of-the-art performance on multiple benchmark datasets, demonstrating the effectiveness of personalized recommendation in hyperbolic geometry.

研究の動機と目的

• 協調フィルタリングにおけるメトリック学習のための双曲空間の可能性を調査し、従来のユークリッド幾何学を超えること。
• ユークリッドに基づくメトリック学習モデルが、階層的かつロングテールのユーザー・アイテム関係を捉える能力に限界があることへの対処。
• メトリック学習の長所を保ちつつ、双曲空間の曲率を活用する、概念的に単純だが効果的な手法の開発。
• 最適化中に局所的およびグローバルな距離保存のバランスを取るために、歪み項を導入すること。
• 双曲メトリック学習が、既存のユークリッドおよび最先端のベースラインよりも優れていることを、実証的に検証すること。

提案手法

• ポアンカレモデル内でのMöbius ギロベクトル空間を用いて、標準的なベクトル演算（加法、乗法、指数写像、対数写像）を双曲幾何に一般化する。
• 双曲空間内でのプルプッシュ機構を適用し、正例のユーザー・アイテムペア間の距離を最小化し、負例ペア間の距離を最大化する。
• 埋め込みを双曲ボール空間と接空間の間で移動させるために、指数写像と対数写像を用い、安定した最適化を実現する。
• マルチタスク学習フレームワーク内で歪み項を導入し、双曲空間における精度と幾何的忠実度のトレードオフを制御する。
• 双曲幾何に適応した対照的損失関数を用いて、確率的勾配降下法でモデルを最適化する。
• t-SNE 視覚化を用いて、双曲空間内での学習済み埋め込みのクラスタリング行動を分析し、明示的な教師なし条件下でもジャンルベースの構造が顕在していることを明らかにした。

実験結果

リサーチクエスチョン

• RQ1 双曲空間におけるメトリック学習は、ユークリッド空間の対応手法に比べて、パーソナライズドレコメンデーションのパフォーマンスを向上させることができるか？
• RQ2 双曲空間の曲率は、協調フィルタリングにおけるメトリック学習の最適化ダイナミクスにどのように影響するか？
• RQ3 双曲表現は、暗黙のフィードバックデータにおける階層的およびロングテールのユーザー・アイテム関係をどの程度捉えることができるか？
• RQ4 歪み項の導入により、局所的およびグローバルな幾何的構造の保存が図られ、双曲埋め込みの品質が向上するか？
• RQ5 HyperML は、CML や LRML といった最先端のユークリッドメトリック学習モデルと比較して、順位付けパフォーマンスにおいてどの程度優れているか？

主な発見

• HyperML は、10個の公開ベンチマークデータセットにおいて、ユークリッドメトリック学習モデルおよび CML や LRML といった最先端のベースラインを上回る最先端のパフォーマンスを達成した。
• AUC や NDCG といった標準的な評価指標において、競合他社のモデルを最大 32.32% 上回る順位付けパフォーマンスの向上を達成した。
• MovieLens1M データセットにおける2次元埋め込みの t-SNE 視覚化から、ジャンルごとの明確なクラスタリングが観察された。これは、HyperML が暗黙のフィードバックから意味的構造を暗黙的に学習していることを示している。
• 歪み項は、局所的およびグローバルな距離保存のバランスを効果的にとらせており、双曲空間における過学習の防止と一般化性能の向上に寄与している。
• HyperML は、双曲幾何が階層的ユーザー・アイテム相互作用のためのより効率的かつ表現力豊かな表現学習を可能にすることを示した。
• 双曲空間内でのプルプッシュ機構は、指数関数的増加する体積のおかげで、点を分離させるために必要な力が小さく、収束がより速く安定している。