[論文レビュー] Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

Zhu Han, Daqing Chang+7 more|arXiv (Cornell University)|Feb 19, 2019

Recommender Systems and Techniques参考文献 40被引用数 31

ひとこと要約

本稿では、推薦システムにおける木構造インデックス構造とディープユーザー好みモデルを統合的に最適化するための統一フレームワークであるJoint Tree Optimization (JTM) を提案する。階層的ユーザー表現を用いて共通の目的関数のもとで両者を同時に最適化することで、JTMは推薦精度と効率性の両面で顕著な向上を達成し、大規模なディスプレイ広告プラットフォームにおけるオンラインA/BテストでCTRが11.3%、RPMが12.9%向上した。

ABSTRACT

Large-scale industrial recommender systems are usually confronted with computational problems due to the enormous corpus size. To retrieve and recommend the most relevant items to users under response time limits, resorting to an efficient index structure is an effective and practical solution. The previous work Tree-based Deep Model (TDM) \cite{zhu2018learning} greatly improves recommendation accuracy using tree index. By indexing items in a tree hierarchy and training a user-node preference prediction model satisfying a max-heap like property in the tree, TDM provides logarithmic computational complexity w.r.t. the corpus size, enabling the use of arbitrary advanced models in candidate retrieval and recommendation. In tree-based recommendation methods, the quality of both the tree index and the user-node preference prediction model determines the recommendation accuracy for the most part. We argue that the learning of tree index and preference model has interdependence. Our purpose, in this paper, is to develop a method to jointly learn the index structure and user preference prediction model. In our proposed joint optimization framework, the learning of index and user preference prediction model are carried out under a unified performance measure. Besides, we come up with a novel hierarchical user preference representation utilizing the tree index hierarchy. Experimental evaluations with two large-scale real-world datasets show that the proposed method improves recommendation accuracy significantly. Online A/B test results at a display advertising platform also demonstrate the effectiveness of the proposed method in production environments.

研究の動機と目的

• 大規模な推薦システムにおける木インデックスとユーザー好みモデルの分離トレーニングが引き起こす性能の劣化を是正すること。
• 1つのパフォーマンス指標のもとで、木インデックス構造とディープユーザー好みモデルの最適化を統合すること。
• 木インデックス構造を活用した階層的ユーザー表現の開発。
• 内積制約のない任意の高度なディープラーニングモデルをキャッシュリトリーブに使用可能にする。
• 共同学習を通じて、実世界の産業システムにおける推薦精度と効率性の向上。

提案手法

• 統一されたグローバル損失関数のもとで、木インデックスとユーザー好みモデルを交互に更新する共同最適化フレームワークを提案。
• 木インデックスの複数のレベルでユーザーの好みを符号化する階層的ユーザー表現を導入。
• 推論時に予測されたユーザー-ノード好みに従って、層別に木インデックスを走査するビームサーチ戦略を採用。
• 木学習におけるラージ・アップデート戦略を用いて、1イテレーションあたりの構造的変更を低減し、収束安定性を向上。
• 木構造におけるマックスヒープ性質を活用：各ノードの好みは子ノードの好みの最大値であり、対数時間計算量を実現。
• 反復的共同学習を適用し、予測目的からのフィードバックに基づいて木構造とモデルパラメータを同時に最適化。

実験結果

リサーチクエスチョン

• RQ1 木インデックスとディープモデルの共同最適化は、分離トレーニングと比較して推薦精度を向上させるか？
• RQ2 インデックスとモデル学習を統合した統一目的関数は、収束性とパフォーマンスの向上に寄与するか？
• RQ3 木構造から導出される階層的ユーザー表現は、モデルの一般化性能とリトリーブ品質を向上させるか？
• RQ4 大規模産業データを扱う実世界の生産環境において、共同学習フレームワークはどのように動作するか？
• RQ5 TDM や Item-CF といった既存ベースラインと比較して、提案手法はオフライン指標およびオンラインKPIの両面で優れているか？

主な発見

• JTMは、タオバオのディスプレイ広告プラットフォームにおけるオンラインA/Bテストで、ベースライン比で11.3%のCTR相対向上を達成した。
• JTMはRPMを12.9%向上させ、生産環境でのビジネスインパクトが顕著に強化された。
• 共同学習フレームワークは安定して収束し、最終的に過学習を起こすクラスタリングベースの木学習手法を上回った。
• Amazon Books および UserBehavior データセットにおいて、JTMは全指標で精度、再現率、F1スコアの両面で一貫した向上を示した。
• 提案された階層的ユーザー表現と共同最適化により、一般化性能が向上し、より正確な好み予測が可能になった。
• 本手法により、内積制約のない任意のディープラーニングモデルをキャッシュリトリーブに使用可能にし、モデルの柔軟性が拡張された。