[論文レビュー] Joint IDs Embedding and its Applications in E-commerce.

Kui Zhao, Yuechuan Li+2 more|arXiv (Cornell University)|Dec 22, 2017

Recommender Systems and Techniques参考文献 28被引用数 1

ひとこと要約

本稿では、ユーザーの暗黙的フィードバックを活用して、商品、ブランド、カテゴリIDなど多様なeコマースIDの低次元で意味的な表現を同時に学習する階層的埋め込みモデルを提案する。ID間の同種および異種の関係を捉えることで、推薦や予測といった下流の応用が効果的に可能となり、Hema Appのデータを用いた実証的評価により、従来のワンホットエンコーディングよりも顕著な性能向上が得られた。

ABSTRACT

E-commerce has become an important part of our daily lives and there are great challenges due to its dynamic and complex business environment. Many machine intelligence techniques are developed to overcome these challenges. One of the essential elements in those techniques is the representation of data, especially for ID-type data, e.g. item ID, product ID, store ID, brand ID, category ID etc. The classical one-hot encoding suffers sparsity problems due to its high dimension. Moreover, it cannot reflect the relationships among IDs, either homogeneous or heterogeneous ones. In this paper, we propose a novel hierarchical embedding model to jointly learn low-dimensional representations for different types of IDs from the implicit feedback of users. Our approach incorporates the structural information among IDs and embeds all types of IDs into a semantic space. The low-dimensional representations can be effectively extended to many applications including recommendation and forecast etc. We evaluate our approach in several scenarios of Hema App and the experimental results validate the effectiveness of our approach.

研究の動機と目的

• eコマースID特徴量に対する従来のワンホットエンコーディングにおけるスパarsity問題と関係モデリングの欠如を解消する。
• 動的で変化の激しいeコマース環境において、高次元で静的である表現の限界を克服する。
• 複数のIDタイプ（例：商品、ブランド、カテゴリ）を統合的に埋め込み、共通の意味的空間に統合して構造的関係を捉える。
• 下流タスク（例：推薦や予測）の性能向上を図るための低次元で転移可能な表現を実現する。
• 暗黙的ユーザーフィードバックデータを用いて、実世界のeコマースシナリオにおけるモデルの有効性を検証する。

提案手法

• ユーザーの相互作用ログから複数のIDタイプの埋め込みを同時に学習する階層的ニューラルネットワークアーキテクチャを提案する。
• グラフベースまたは階層的構造を用いて、ID間の構造的関係（例：商品同士の同種関係、商品とブランド間の異種関係）をモデル化する。
• ユーザーの暗黙的フィードバック（例：クリック、購入）を監視信号として用い、下流の関連性最適化を目的にエンドツーエンドで学習する。
• 低次元の密なベクトルを各IDの表現に用い、計算効率と一般化性能を向上させる。
• すべてのIDタイプを統一された埋め込み空間に統合し、異種間推論と転移学習を可能にする。
• 負例サンプリングとコントラスト学習の技術を用いて、スパースなフィードバック信号からも表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数のIDタイプの統合的学習は、個別的またはワンホットエンコーディングと比較して表現品質を向上させるか？
• RQ2 学習されたID埋め込みは、eコマースの異なるエンティティ間で意味的かつ構造的な関係をどの程度適切に捉えられるか？
• RQ3 実世界のeコマースシステムにおいて、統合されたID埋め込みは推薦や予測性能をどの程度向上させるか？
• RQ4 階層的構造的情報を組み込むことで、ID表現の一般化性能とロバスト性が向上するか？
• RQ5 共通の意味的空間内において、モデルは異なるタイプのID（例：商品、ブランド、カテゴリ）の間で一般化できるか？

主な発見

• 提案された統合ID埋め込みモデルは、ワンホットエンコーディングと比較して表現のスパarsityを顕著に低減する。
• モデルは、商品-ブランド間やカテゴリ-サブカテゴリ間のような関係を効果的に捉えることができ、同種および異種の関係を両方とも表現可能である。
• Hema Appの実世界データを用いた評価で、学習された埋め込みは下流の推薦および予測性能を向上させた。
• 階層的構造により、異なるIDタイプ間での一般化能力が向上し、大規模なeコマースカタログへのスケーラビリティも確保された。
• 明示的なラベルが不要な状態でも、ユーザーの暗黙的フィードバックのみで効果的で転移可能なID埋め込みを学習可能である。
• ワンホットエンコーディングや独立した埋め込みを用いたベースラインモデルと比較して、精度およびタスク間一般化性能の両面で優れている。