[論文レビュー] Joint Modeling and Optimization of Search and Recommendation

Hamed Zamani, W. Bruce Croft|arXiv (Cornell University)|Jul 15, 2018

Recommender Systems and Techniques参考文献 26被引用数 14

ひとこと要約

本稿では、検索とレコメンデーションシステムを同時に訓練するための共同モデリングフレームワーク、JSRを提案する。共通の損失関数を用いることで、リtrievalとレコメンデーションの両性能を向上させる。アマゾン製品データを用いた実験では、独立した訓練と比較して両タスクで顕著な向上が得られ、共有されたユーザー行動を介した一般化性能の向上と、より優れたアイテム表現学習が実現した。

ABSTRACT

Despite the somewhat different techniques used in developing search engines and recommender systems, they both follow the same goal: helping people to get the information they need at the right time. Due to this common goal, search and recommendation models can potentially benefit from each other. The recent advances in neural network technologies make them effective and easily extendable for various tasks, including retrieval and recommendation. This raises the possibility of jointly modeling and optimizing search ranking and recommendation algorithms, with potential benefits to both. In this paper, we present theoretical and practical reasons to motivate joint modeling of search and recommendation as a research direction. We propose a general framework that simultaneously learns a retrieval model and a recommendation model by optimizing a joint loss function. Our preliminary results on a dataset of product data indicate that the proposed joint modeling substantially outperforms the retrieval and recommendation models trained independently. We list a number of future directions for this line of research that can potentially lead to development of state-of-the-art search and recommendation models.

研究の動機と目的

• 検索とレコメンデーションシステムを共同でモデリングすることの潜在的利点を調査すること。両者ともユーザーが関連情報を見つけるという同じ目的を持つ。
• 情報検索（IR）とレコメンデーションシステム（RecSys）のコミュニティの間にあるギャップを埋め、リtrievalとレコメンデーションの訓練を共通のフレームワークで統合すること。
• 検索とレコメンデーションの両データから得られる補完的信号を活用することで、モデルの一般化性能と表現学習を向上させること。
• 共同訓練がリtrievalとレコメンデーションの両タスクにおいて、独立した訓練を上回る性能を発揮するかどうかを検証すること。
• 検索またはレコメンデーションの一方のモダリティにのみラベル付きデータがあるようなコールドスタート状況において、性能向上を実現すること。

提案手法

• 検索モデルとレコメンデーションモデルを共通の損失関数を用いて共同で訓練する一般化されたフレームワーク、JSRを提案する。
• 妥当性と性能を評価するため、両モデルのベースアーキテクチャとして全結合ニューラルネットワークを用いる。
• 検索（例：クエリ-アイテムの関連性）とレコメンデーション（例：購入履歴）の両方のユーザー行動データを活用し、共有されたアイテム表現を学習する。
• エンドツーエンドの訓練中に、リtrievalとレコメンデーションの目的をバランスさせる統合損失関数を最適化する。
• アイテムの共有埋め込み空間を採用することで、意味的信号と共同信号が同時に符号化される。
• クエリ、クリックログ、購入履歴を含むアマゾン製品データセットを用いて、実世界のシナリオを模擬してモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 検索とレコメンデーションモデルの共同訓練は、独立した訓練モデルと比較して性能向上をもたらすか？
• RQ2 共同モデリングは、リtrievalおよびレコメンデーションシステムの一般化能力にどのように影響するか？
• RQ3 共有されたユーザー行動データは、両タスクにおけるアイテム表現学習をどの程度向上させるか？
• RQ4 共同モデリングは、特にデータが少ない状況（低データレジーム）において、一方のモダリティ（例：検索）からもう一方（例：レコメンデーション）への知識の転送を効果的に可能にするか？
• RQ5 混合データソースを有する実世界の設定において、共同最適化フレームワークは頑健でスケーラブルか？

主な発見

• JSRフレームワークを用いた共同訓練は、独立した訓練モデルと比較して、リtrievalおよびレコメンデーションの両タスクで顕著な性能向上を達成した。
• 共同モデルは、共有学習による正則化効果のおかげで、訓練データに対する過学習が抑えられ、一般化性能が向上した。
• 共同で学習されたアイテム表現は、より意味的に一貫性があり、たとえば「iphone accessories」のようなクエリにおけるリtrieval性能の向上によって裏付けられた。
• レコメンデーション性能が向上したのは、共有表現が検索ログと購入履歴の両方の共起パターンを捉え、関連アイテムのリコール率を向上させたためである。
• フレームワークは、一方のモダリティにのみラベル付きデータがあるコールドスタート状況でも性能向上を実現した。これは、タスク間での転移学習の可能性を示唆している。
• 結果から、1つのモデル（例：リtrieval）の改善が、もう一方のモデル（例：レコメンデーション）の性能向上にも間接的に寄与することが示唆された。これは、「一石二鳥」仮説を支持するものである。