[論文レビュー] Personalized Query Auto-Completion Through a Lightweight Representation of the User Context

Manojkumar Rangasamy Kannadasan, Grigor Aslanyan|arXiv (Cornell University)|May 3, 2019

Information Retrieval and Search Behavior被引用数 4

ひとこと要約

本論文では、ユーザーの文脈クエリのfastTextベースの埋め込みを用いて、候補の完成形との意味的類似度を測定することで、軽量でスケーラブルなパーソナライズドクエリ自動補完手法を提案する。これらの埋め込み由来の特徴量をLambdaMARTランクモデルに統合することで、ユーザー文脈を含むセッションにおいて、最も人気のある完成形（Most Popular Completion）ベースラインに対して20–30%の向上を達成し、ベースラインランカーに対して最大10%の向上を示した。これは、テキストベースのパーソナライズーション特徴量よりも優れた性能を発揮している。

ABSTRACT

Query Auto-Completion (QAC) is a widely used feature in many domains, including web and eCommerce search, suggesting full queries based on a prefix typed by the user. QAC has been extensively studied in the literature in the recent years, and it has been consistently shown that adding personalization features can significantly improve the performance of QAC. In this work we propose a novel method for personalized QAC that uses lightweight embeddings learnt through fastText. We construct an embedding for the user context queries, which are the last few queries issued by the user. We also use the same model to get the embedding for the candidate queries to be ranked. We introduce ranking features that compute the distance between the candidate queries and the context queries in the embedding space. These features are then combined with other commonly used QAC ranking features to learn a ranking model. We apply our method to a large eCommerce search engine (eBay) and show that the ranker with our proposed feature significantly outperforms the baselines on all of the offline metrics measured, which includes Mean Reciprocal Rank (MRR), Success Rate (SR), Mean Average Precision (MAP), and Normalized Discounted Cumulative Gain (NDCG). Our baselines include the Most Popular Completion (MPC) model as well as a ranking model without our proposed features. The ranking model with the proposed features results in a $20-30\\%$ improvement over the MPC model on all metrics. We obtain up to a $5\\%$ improvement over the baseline ranking model for all the sessions, which goes up to about $10\\%$ when we restrict to sessions that contain the user context. Moreover, our proposed features also significantly outperform text based personalization features studied in the literature before, and adding text based features on top of our proposed embedding based features results only in minor improvements.

研究の動機と目的

• 最近のクエリから得られるユーザーの文脈を活用することで、クエリ自動補完のパーソナライズ化を向上させること。
• 意味的類似度モデリングのため、ユーザー文脈のスケーラブルで軽量な表現をfastText埋め込みを用いて開発すること。
• これらの埋め込みを学習するためのランク付けフレームワークに統合し、より良い候補クエリのランク付けを実現すること。
• 従来のテキストベースのパーソナライズーション特徴量と比較して、埋め込みベースの特徴量の有効性を評価すること。
• 大規模な商用検索エンジン（eBay）において、オフライン指標で顕著な性能向上を示すこと。

提案手法

• ユーザーの文脈は、ユーザーが発行した直近のクエリのシーケンスとして表現され、埋め込み学習のための単一のドキュメントとして扱われる。
• fastTextを用いて、文脈クエリおよび候補クエリの両方の密な、サブワードに注意を向けるベクトル表現を学習する。
• ユーザー文脈の埋め込みと各候補クエリの埋め込みとの間のコサイン類似度を、主要なランク付け特徴量として計算する。
• これらの埋め込みベースの特徴量は、一般的なQACランク付け特徴量（例：人気度、時間感受性）と組み合わせられ、LambdaMARTランカーに統合される。
• モデルは大規模なeBay検索データセット上で訓練および評価され、特徴量の寄与度を評価するアブレーションスタディが実施された。
• 部分従属プロットを用いて、埋め込み類似度がランク付け結果に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 ユーザー文脈クエリの軽量で高速なfastTextベースの埋め込みは、クエリ自動補完のランク付け性能を向上させることができるか？
• RQ2 QACにおける埋め込みベースの特徴量は、従来のテキストベースのパーソナライズーション特徴量と比較して、どのように性能を発揮するか？
• RQ3 既存の特徴量と組み合わせた場合、埋め込みベースの特徴量はランク付け指標にどの程度向上をもたらすか？
• RQ4 ユーザー文脈が利用可能なセッションにおいて、モデルはより顕著な改善を示すか？
• RQ5 個々の文脈クエリの埋め込みは、最終的なランク付けスコアにどの程度寄与しているか？

主な発見

• 提案された埋め込みベースのランク付けモデルは、MRR、SR、MAP、NDCGを含むすべてのオフライン指標で、最も人気のある完成形（MPC）ベースラインに対して20–30%の向上を達成した。
• ユーザー文脈を含むセッションにおいて、モデルはベースラインランカー比で最大10%の向上を示し、文脈に依存するパーソナライズーションの価値を裏付けた。
• 埋め込みベースの特徴量はテキストベースのパーソナライズーション特徴量を上回り、全データセットではMAP@3で1.5%、文脈のみのデータセットでは3%の向上を示した。
• 埋め込み特徴量の上にテキストベースの特徴量を追加しても、わずかな向上しか得られず、埋め込み特徴量がほとんどすべての関連信号を捉えていることが示された。
• 部分従属プロットにより、埋め込み空間におけるコサイン類似度とランク付け性能の間には強い単調な関係があることが確認された。
• すべての指標で統計的に有意な向上が得られ、95%信頼区間により結果の信頼性が裏付けられた。