[論文レビュー] Personalized neural language models for real-world query auto completion

Nicolas Fiorini, Zhiyong Lu|arXiv (Cornell University)|Apr 17, 2018

Web Data Mining and Analysis参考文献 18被引用数 7

ひとこと要約

本論文は、ユーザー固有のクエリ履歴と時間的感度を統合することで、予測精度と多様性を向上させ、とりわけ珍しいまたは未確認のクエリに対して効果を発揮する、パーソナライズされたニューラル言語モデルを提案する。この手法は、再ランク付けを回避することでスケーラビリティを向上させ、一般Webおよびバイオメディカル検索データセットの両方で、精度と効率の両面で先行手法を上回る最先端の性能を達成する。

ABSTRACT

Query auto completion (QAC) systems are a standard part of search engines in industry, helping users formulate their query. Such systems update their suggestions after the user types each character, predicting the user's intent using various signals - one of the most common being popularity. Recently, deep learning approaches have been proposed for the QAC task, to specifically address the main limitation of previous popularity-based methods: the inability to predict unseen queries. In this work we improve previous methods based on neural language modeling, with the goal of building an end-to-end system. We particularly focus on using real-world data by integrating user information for personalized suggestions when possible. We also make use of time information and study how to increase diversity in the suggestions while studying the impact on scalability. Our empirical results demonstrate a marked improvement on two separate datasets over previous best methods in both accuracy and scalability, making a step towards neural query auto-completion in production search engines.

研究の動機と目的

• 珍しいまたは未確認のクエリを処理する際の、人気ベースのクエリオートコンプリート（MPC）の限界を是正すること。
• 関連性と多様性を向上させるために、ユーザーのパーソナライゼーションと時間的感度を統合したニューラル言語モデルを開発すること。
• LambdaMARTのような再ランク付けパイプラインの必要性を排除することで、スケーラビリティを向上させること。
• クエリの多様性と語彙が広範であるバイオメディスインの分野のような専門分野での性能を評価すること。
• 精度、多様性、計算効率のバランスを取った生産環境向けアーキテクチャを提供すること。

提案手法

• クエリプレフィックスの次の文字を予測するために、文字レベルのRNNを用い、GRUまたはLSTMセルでシーケンスをモデル化する。
• 過去のクエリ履歴から導出されるユーザー固有の埋め込みを用いて、予測をパーソナライズする。
• 時間的感度を統合するために、時間的特徴を符号化し、クエリの人気度の時間的変化を反映する。
• バランスの取れたビームサーチ戦略を適用することで、上位k件の提案における多様性を促進し、重複を低減する。
• エンドツーエンドの性能最適化により、後処理の再ランク付けを回避することで、スケーラビリティを向上させる。
• AOL（一般Web検索）およびバイオメディカルデータセットの2つのデータセットからの実世界のクエリログでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのパーソナライゼーションを統合することで、未確認のクエリにおけるオートコンプリート性能はどの程度向上するか？
• RQ2 時間的感度は、時間的変動が著しいクエリにおいて、どの程度予測精度を向上させるか？
• RQ3 バランスの取れたビームサーチ戦略は、精度を損なわせることなく、提案の多様性を効果的に向上させることができるか？
• RQ4 バイオメディスイン分野において、本手法は一般Web検索と比較してどの程度の性能を示すか？
• RQ5 LambdaMARTのような外部の再ランク付け手法に依存せずに、ニューラル言語モデルが最先端の結果を達成できるか？

主な発見

• ユーザー情報と時間的感度を統合したNQAC UTモデルは、未確認クエリにおいて最高の性能を示し、非パーソナライズドモデルと比較してMRRを21%向上させる。
• ユーザー情報は、確認済みクエリにおいても顕著な性能向上をもたらし、MRRを23%向上させる。
• バランスの取れたビームサーチによる多様性向上は、バイオメディカルデータセットで19%の性能向上をもたらし、確認済みと未確認クエリの間で良好なバランスを実現する。
• バイオメディカルデータセットでは、MPCがクエリの人気度が低いため性能が著しく劣るが、NQAC UT +DはMPCおよびNQLMを上回り、最高の全体MRRを達成する。
• 約100万件のクエリを処理した後、意味のある予測が得られるが、バイオメディカルデータセットでは損失の安定化により多くの訓練エポックが必要である。
• NQAC UT +MPCの組み合わせは、バイオメディカルデータセットで最高の全体MRRを達成するが、LambdaMARTは性能向上をもたらさず、この文脈では再ランク付けの有効性が低いことが示唆される。