[論文レビュー] Multi-Manifold Learning for Large-scale Targeted Advertising System

Kyuyong Shin, Youngjin Park+2 more|arXiv (Cornell University)|Jul 5, 2020

Complex Network Analysis Techniques参考文献 26被引用数 6

ひとこと要約

本稿では、複数の学習可能な双曲多様体にまたがるユーザーおよび広告埋め込みをモデル化する、双曲的表現フレームワーク「Multi-Manifold Learning」を提案する。各多様体はユーザークラスタの重心を中心に配置される。ユーザー-広告相互作用における階層的構造を活用することで、公共および産業スケールのデータセットにおいて、ユークリッド空間および単一の双曲多様体ベースラインと比較して、予測精度と推薦の多様性の両方を向上させる。

ABSTRACT

Messenger advertisements (ads) give direct and personal user experience yielding high conversion rates and sales. However, people are skeptical about ads and sometimes perceive them as spam, which eventually leads to a decrease in user satisfaction. Targeted advertising, which serves ads to individuals who may exhibit interest in a particular advertising message, is strongly required. The key to the success of precise user targeting lies in learning the accurate user and ad representation in the embedding space. Most of the previous studies have limited the representation learning in the Euclidean space, but recent studies have suggested hyperbolic manifold learning for the distinct projection of complex network properties emerging from real-world datasets such as social networks, recommender systems, and advertising. We propose a framework that can effectively learn the hierarchical structure in users and ads on the hyperbolic space, and extend to the Multi-Manifold Learning. Our method constructs multiple hyperbolic manifolds with learnable curvatures and maps the representation of user and ad to each manifold. The origin of each manifold is set as the centroid of each user cluster. The user preference for each ad is estimated using the distance between two entities in the hyperbolic space, and the final prediction is determined by aggregating the values calculated from the learned multiple manifolds. We evaluate our method on public benchmark datasets and a large-scale commercial messenger system LINE, and demonstrate its effectiveness through improved performance.

研究の動機と目的

• 大規模なターゲティング広告における階層的ユーザー-広告関係を捉えるのにユークリッド空間の限界を是正すること。
• 従来の双曲埋め込み手法における単一多様体仮定の欠陥を克服し、多様なユーザー嗜好グループをモデル化すること。
• ユーザークラスタの重心を中心に複数の双曲多様体を構築することで表現学習を向上させること。
• 多様体固有の距離に基づく嗜好推定を通じて、予測精度とターゲティングの多様性の両方を向上させること。
• 実世界の産業データおよび公開ベンチマーク上でフレームワークを検証し、単一ドメインにとどまらない一般化能力を示すこと。

提案手法

• 複数の双曲多様体を構築し、それぞれが学習可能な曲率を持つ。各多様体は、ユーザー埋め込みのクラスタリングから得られるユーザークラスタの重心を中心に配置される。
• 共有重みを持つ同一のニューラルネットワークエンコーダーを用いて、ユーザーおよび広告表現を各多様体の双曲空間にマッピングする。
• ユーザーが特定の広告に対して持つ嗜好は、各双曲多様体内での埋め込み間の測地線距離として推定される。
• 最終的な予測スコアは、全多様体における嗜好スコアの集約によって得られ、ユーザー嗜好のマルチパースペクティブモデリングを可能にする。
• クリックスルー率予測を最適化するため、マージンベースのランキング損失を用いてエンドツーエンドでモデルを訓練する。
• クラスタリングは多様体構築の前に行われ、クラスタ数はアブレーションを通じて最適化される。

実験結果

リサーチクエスチョン

• RQ1 複数の双曲多様体にまたがるユーザーおよび広告表現のモデリングは、単一多様体またはユークリッドベースラインと比較して、ターゲティング広告における予測精度の向上をもたらすか？
• RQ2 各多様体がユーザークラスタの重心を中心に配置されることで、ユーザー-広告埋め込みの多様性と表現力がどのように向上するか？
• RQ3 提案されたMulti-Manifold Learningフレームワークは、単一のデータセットにとどまらず、実世界の産業システムおよび公開ベンチマークにも一般化可能か？
• RQ4 ユーザークラスタ数が推薦システムのパフォーマンスおよび多様性に与える影響はいかほどか？
• RQ5 広告システムにおいて、双曲幾何はユークリッド空間と比較して、階層的ユーザー嗜好をどの程度うまく捉えられるか？

主な発見

• 提案されたMulti-Manifold Learningフレームワークは、LINEメッセンジャープラットフォームおよびMovieLensベンチマークの両方で、RocAuc、Accuracy、Average Precision、Shannonエントロピーの全指標において最高のパフォーマンスを達成した。
• モデルは最高のShannonエントロピー得点を記録し、推薦されるユーザー群の多様性が優れており、スパムの認識を軽減し、ユーザー満足度を向上させた。
• クラスタ数が増加するに従い、T=5まで性能が向上し、以降は正確性は安定化するが多様性は継続的に増加するため、T=5が最適設定であると正当化された。
• 埋め込みの可視化により、関連性の高い広告が各多様体の中心に引き寄せられ、関連性の低い広告は周縁部に押し出される傾向が確認され、階層的構造の有効な学習が行われたことが裏付けられた。
• MovieLensでは、モデルは最高または第二位のパフォーマンスを記録し、産業データセットにとどまらない強力な一般化能力を示した。
• MLPおよびHNNベースラインと比較して、本手法は正確性と多様性の両面で顕著な向上を示し、マルチマニフォールド双曲学習の有効性が検証された。