[論文レビュー] A Capsule Network-based Embedding Model for Search Personalization

Dai Quoc Nguyen, Thanh Vu+2 more|arXiv (Cornell University)|Apr 12, 2018

Recommender Systems and Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、クエリ、ユーザー、ドキュメントの3者間の関係を共同ベクトル表現によってモデル化することで、検索のパーソナライゼーションを向上させるキャプセルネットワークベースの埋め込みモデルを提案する。このモデルは、実世界のウェブ検索ログにおいてベースラインランカーおよび最先端のパーソナライゼーション手法よりもリランク性能を向上させる。

ABSTRACT

Search personalization aims to tailor search results to each specific user based on the user's personal interests and preferences (i.e., the user profile). Recent research approaches to search personalization by modelling the potential 3-way relationship between the submitted query, the user and the search results (i.e., documents). That relationship is then used to personalize the search results to that user. In this paper, we introduce a novel embedding model based on capsule network, which recently is a breakthrough in deep learning, to model the 3-way relationships for search personalization. In the model, each user (submitted query or returned document) is embedded by a vector in the same vector space. The 3-way relationship is described as a triple of (query, user, document) which is then modeled as a 3-column matrix containing the three embedding vectors. After that, the 3-column matrix is fed into a deep learning architecture to re-rank the search results returned by a basis ranker. Experimental results on query logs from a commercial web search engine show that our model achieves better performances than the basis ranker as well as strong search personalization baselines.

研究の動機と目的

• ユーザーの好み、検索クエリ、取得されたドキュメントの間の動的な相互作用を効果的にモデル化する課題に対処すること。
• 個々の関心や行動を反映するユーザー固有の表現を学習することで、検索結果の関連性を向上させること。
• ユーザー・クエリ・ドキュメントの三つ組みにおける複雑で階層的な関係を捉えることができるディープラーニングアーキテクチャを開発すること。
• リランク効果性において、既存のリtrievalベースラインおよび最先端のパーソナライゼーションモデルを上回ること。

提案手法

• 各ユーザー、クエリ、ドキュメントは、学習された密な表現を用いて共有のベクトル空間に埋め込まれる。
• 3者間の関係（クエリ、ユーザー、ドキュメント）は、それぞれの埋め込みベクトルから構成される3列の行列として符号化される。
• キャプセルネットワークアーキテクチャが3列の行列を処理し、動的ルーティングに類似した注目メカニズムと三つ組みの要素間の階層的関係をモデル化する。
• ベースランカーが生成する結果のランクを最適化するために、エンドツーエンドで訓練される。
• 最終出力は、ユーザーのプロファイルに合わせてカスタマイズされたリランク済みのドキュメントリストであり、微分可能な損失関数を介して最適化される。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、検索パーソナライゼーションのためのユーザー・クエリ・ドキュメントの3者間相互作用を効果的にモデル化できるか？
• RQ2 提案されたキャプセルベースの埋め込みモデルは、従来のリtrievalベースラインと比較して、ランク付け効果性に優れているか？
• RQ3 既存の最先端のパーソナライゼーション手法と比較して、このモデルはどの程度パーソナライゼーション性能を向上させているか？
• RQ4 キャプセルネットワークに内蔵された階層的注目メカニズムは、標準的なニューラルネットワークと比較して、ユーザー固有の好みをよりよく捉えられるか？

主な発見

• 提案されたキャプセルネットワークベースのモデルは、実世界のウェブ検索ログにおいてベースラインランカーを上回る優れた性能を達成した。
• このモデルは、検索パーソナライゼーション分野における強力なベースラインを上回り、ランク付け効果性の向上を示した。
• キャプセルネットワークの統合により、従来の埋め込みアプローチよりも複雑なユーザー・クエリ・ドキュメント関係のモデル化が可能になった。
• 結果から、3者間関係の表現が、微細なユーザーの好みを捉えることでパーソナライゼーションを強化していることが示された。