[論文レビュー] Personalized Language Model for Query Auto-Completion

Aaron Jaech, Mari Ostendorf|arXiv (Cornell University)|Apr 25, 2018

Topic Modeling参考文献 14被引用数 8

ひとこと要約

本稿では、オンラインでのユーザー埋め込み更新を介して個々のユーザーに適応するFactorCellに基づく再帰的ニューラルネットワークを用いた、クエリ自動補完のためのパーソナライズド言語モデルを提案する。このモデルは、非パーソナライズドおよび連結ベースの適応手法を著しく上回り、特に未学習ユーザーに対しては、動的で文脈に適応したパーソナライズを可能にし、提案の意味的整合性を向上させる。

ABSTRACT

Query auto-completion is a search engine feature whereby the system suggests completed queries as the user types. Recently, the use of a recurrent neural network language model was suggested as a method of generating query completions. We show how an adaptable language model can be used to generate personalized completions and how the model can use online updating to make predictions for users not seen during training. The personalized predictions are significantly better than a baseline that uses no user information.

研究の動機と目的

• ユーザー固有の埋め込みを用いて言語モデルをパーソナライズすることにより、クエリ自動補完を改善すること。
• トレーニング中に登場しなかったユーザーに対しても、オンラインでのユーザー埋め込み更新により効果的なパーソナライズを可能にすること。
• 低ランク行列による適応的重み変更（FactorCell）が、RNNにおける従来の連結ベースの適応より優れていることを示すこと。
• ユーザーのインタラクションデータが増えるほど、予測品質および関連性が顕著に向上することを示すこと。
• 高い品質で意味的に整合性のあるクエリ補完を実現しながら、効率性とスケーラビリティを維持できることを検証すること。

提案手法

• モデルは、ユーザー埋め込みから導出される低ランク行列を用いて再帰層の重みを加法的に変換するFactorCell機構を備えた文字レベルLSTMを使用する。
• ユーザー埋め込みはトレーニング中に学習され、新しいユーザーに対してはバックプロパゲーションを用いてオンラインで更新され、初期値はデフォルトの埋め込み $u_1$ に設定される。
• 適応プロセスでは、モデルのすべてのパラメータを固定し、ユーザー埋め込み行列 $\mathbf{U}$ のみを更新することで、再トレーニングなしに段階的なパーソナライズが可能になる。
• モデルは1クエリごとに適応重み行列 $\mathbf{W}' = \mathbf{W} + \mathbf{A}$ を一度計算し、ビームサーチ中に再利用することで推論効率を維持する。
• ユーザー埋め込みを用いて再帰層の重みを変調することで、文脈に応じた言語生成が可能になる。
• リアルタイム推論をサポートし、時間的要因やその他の文脈要因を条件信号として追加することも可能である。

実験結果

リサーチクエスチョン

• RQ1 オンラインでのユーザー適応を用いて、神経言語モデルをクエリ自動補完に効果的にパーソナライズできるか？
• RQ2 FactorCellに基づく重み適応は、連結ベースの適応と比較して、補完品質および意味的整合性の面でどのように差を示すか？
• RQ3 トレーニング中に登場しなかったユーザーに対して、パーソナライズがどれほど性能向上をもたらすか？
• RQ4 ユーザーのインタラクションデータが増えると、予測品質および関連性に顕著な改善が見られるか？
• RQ5 より少ない計算コストで、珍しいまたは未学習のプレフィックスに対しても意味的に整合性のある補完を生成できるか？

主な発見

• FactorCellモデルは、ベースラインの非適応モデルおよびConcatCellモデルと比較して、特に訓練データが限られたユーザーに対して顕著に優れたパーソナライズドクエリ補完を達成した。
• 未学習ユーザーに対しては、オンラインでのユーザー埋め込み更新により即座にパーソナライズ効果が得られ、処理されるクエリが増えるに従い性能が向上した。
• FactorCellモデルは、意味的に整合性の高い補完を生成した。例えば、高校生のユーザーに対して「high school musical」と「funbrain.com」を正しく提案したが、ConcatCellモデルは「orthographically similar but semantically unrelated」（意味的に関連のない）提案、例えば「high school musical」に似たが意味が異なる「craigslist nyc」など、不適切な結果を出力した。
• 「prada handbags」と「versace eyewear」の例では、FactorCellモデルはNeiman Marcus や Pottery Barn といった正しく関連する小売業者を正しく提案したが、ConcatCellモデルは「craigslist nyc」や「webster dictionary」など、関連性が低い結果を出力した。
• より洗練された適応フレームワーク（例：FactorCell）は、データ量が増えるほどより大きな向上効果を示し、このアプローチのスケーラビリティを裏付けた。
• ユーザー埋め込みの更新コストは前方伝搬と同等であり、時間経過とともに均等化できるため、実時間デプロイに実用的であることが示された。